针对复杂深空通信环境对X射线通信系统抗噪声性能的影响,提出一种基于正交振幅调制(QAM)的误码率优化模型。通过分析实际通信环境中的噪声来源,并结合现有的X射线通信链路模型,给出主要噪声来源的数学表达式;基于泊松分布模型,建立QAM方式下强度调制直接检测(IM/DD)系统中通信误码率的计算模型,并通过模拟仿真验证其有效性。仿真结果表明,该模型的误码率可降至10-6量级,与现有的二进制启闭键控(OOK)和脉冲位置调制(PPM)方法相比,当接收到相同的光子数时,该模型所需发射的光子数更少,尤其是当通信系统处于噪声干扰强度极不稳定的环境中时,该模型更具优势。