相比传统的空间微波通信,空间激光通信因具有光束发散角小,抗电磁干扰能力强,安全性高,传输容量大,卫星终端体积小的优点而得到了广泛的关注和研究。国际上对空间激光通信技术的研究已有60余年,已经建立了关于空间激光通信系统中激光传输特性,大气效应,接收光强分布等相对成熟的理论模型。但是,与地面光纤通信相比,空间激光通信系统中数千公里的自由空间信道大大增加了信息被窃听的风险。而随着量子计算技术的发展,传统基于公共密钥的软件加密技术也已经面临着巨大的挑战。混沌加密是基于硬件设计实现的一种硬件加密技术,其通过采用发射端的关键元器件本身工作参数作为密钥,避免了软件加密算法面临的潜在隐患。因此,能够同时实现普通信息和高级别信息分类传输的非加密/混沌加密复合空间激光通信技术已经成为本领域目前发展的一个研究热点。众所周知,空间激光通信技术发展至今,随着传输数据率要求越来越高,近年来各项通信系统终端的设计参数已接近极限。因此,无论是非加密的传统空间激光通信系统还是混沌加密空间激光通信系统,如何进一步优化系统参数设计,降低系统设计难度已经成为目前空间激光通信领域的一个迫切的需求。空间激光通信系统中的卡塞格林-RC反射式光学天线具有镜身短、放大倍率大、能够消除球差以及收发端共用等非常显著的优点,但是其次镜会遮挡传输光束,从而影响光学系统的发射效率。因此,本论文将二元光学元件（Diffractive optical element,DOE）引入到空间激光通信系统对发射信号的光斑进行中空整形,从而有效解决光信号进入到卡塞格林-RC反射式光学天线中的次镜遮挡问题,进而提高光学子系统的发射效率,降低其他系统参数的设计压力。本论文首先基于实际工程需求,采用光电延迟反馈式混沌起振结构给出了一种能够同时实现普通信息和高级别信息分类传输的非加密/混沌加密复合空间激光通信系统,并在该复合空间激光通信系统的光学子系统中增加了一组二元光学元件对传输光束进行整形,用以解决卡塞格林-RC反射式光学天线的次镜会遮挡传输光束的问题。对于二元光学元件的具体设计方案,我们先对中空平顶和中空高斯两种最为常见的中空光斑整形方案进行了对比分析,数值仿真结果表明中空高斯光斑具有更佳的远场传输特性。然后我们对中空半径的大小进行了进一步分析,结果表明以次镜的半径作为中空高斯半径是最优选择。基于上述结论,我们对引入到复合空间激光通信系统的二元光学元件采用中空高斯整形方案并进行了位相设计。接下来,我们进一步研究了引入DOE对非加密/混沌加密复合空间激光通信系统的影响。对于非加密子系统,我们首先推导了含DOE的非加密空间激光通信子系统的误码率模型,并基于该误码率模型分别研究了引入DOE对上下行链路的影响。结果表明,两种链路情况下DOE都能够将误码率降低10^-1数量级以上,如果结合终端基本参数的优化设计其误码率特性还能够进一步提升。对于混沌加密子系统,我们同样推导了其含DOE的系统误码率模型。考虑到混沌系统的失配程度以及大气状况的变化会影响DOE对混沌加密系统的作用效果,我们基于该模型对上述问题进行了详细的分析。数值仿真结果表明,如果将混沌系统失配量级控制在10^-2以内,引入DOE同样能将系统误码率降低10^-1数量级以上。而对于大气效应的影响,在中等强度/弱湍流状态下,引入DOE对上下行链路的通信性能提升显著;在强湍流条件下,DOE对上行通信链路系统性能的提升作用大大弱于下行链路。本文研究了二元光学整形对非加密/混沌加密复合空间激光通信系统的性能提升和参数设计的优化作用,上述研究结果是将DOE引入到实际工程系统的重要参考,对于降低系统设计难度,提升系统性能以及研制低功耗、小型化的星上终端具有重要应用价值。