激光通信具有高光学增益、高度抗截获抗干扰能力和高通信速率等突出优点,是解决高速通信问题的重要技术手段。自德国TESAT公司实现5.6Gbps星间相干光通信速率以来,相干光通信技术成为公认解决光通信终端小型化、轻量化、高速率的最佳方案。本文针对空间相干光通信终端光学系统的技术难点,进行了以下研究:首先,为增加混频效率,提出了对激光高斯光束整形作为本振光源的方法,推导了本振高斯光束整形前后的混频效率公式。通过数值分析,得出整形高斯光束的混频效率比未整形时高0.1左右,并得出了空间相干探测中各器件的最佳参数方案。第二,研究了空间相干光通信终端光学系统对信噪比的影响,模拟分析了光学天线系统RMS波像差、90度光混频器装配过程中光束偏移、光束倾斜和相对相移等误差对系统信噪比的影响,得出四种误差的容差分别为:λ/20、R0/20(R0为信号光束宽度)、0.1mrad和±10°。第三,确定了空间相干光通信终端光学天线系统的指标要求,并根据该指标设计了一套合理的光学天线系统。在望远系统设计时,分别采用离轴四反形式和卡塞格林形式进行了设计。第四,采用琼斯矩阵推导了90度光混频器的工作原理,使用Optisystem软件建立90度光混频器原理模型,分析了相对相移的指标误差,分析结果表明:旋转λ/4波片能够补偿相对相移误差,但会造成I、Q支路分光比的变化,通过旋转λ/2波片可以将分光比补偿回来。在分析原有90度空间光混频器结构工程缺点的基础上,提出了两种基于横向剪切干涉仪的改进结构。第五,研制了一套90度空间光混频器,并分别搭建实验平台检测了90度光混频器的插入损耗、功率不一致性、相对相移和混频效率等多项指标。检测实验结果表明所研制的90度空间光混频器I、Q支路相对相移为90.73°,信号光与本振光的插入损耗分别为0.58dB、0.53dB,混频效率损耗小于0.82dB,完全满足使用需求。