空间激光通信按照通信体制划分为直接探测和相干探测两种方式,其中相干探测方式由于探测灵敏度高、调制方式灵活、通信容量大等优点,逐渐成为远距离空间激光通信的主要发展方向。在星间激光通信中,光学系统是实现远距离激光通信的关键系统,在直接探测体制中,光学系统的波像差是影响系统性能的重要参数;在相干探测体制中,除了波像差外,光学系统的偏振像差同样影响通信系统的性能质量。星间相干激光通信的光学系统属于偏振敏感系统,信号光在光学系统中传输时,偏振像差会改变信号光的偏振态,影响信号光与本振光的混频效率。相干通信的核心是实现信号光与本振光的高效混频,因此,研究光学系统的偏振像差对信号光偏振态以及混频效率的影响,可以为设计高混频效率的相干通信系统提供指导;通过研究光学系统的偏振像差以及研究如何降低偏振像差的影响,可以指导设计具有高保偏性能的光学系统。本文围绕相干激光通信中光学系统的偏振像差及其对相干混频效率的影响,主要开展了以下研究工作:基于传统的相干探测基本原理,本文推导了信号光与本振光偏振态一致时的相干混频效率,并分析了信号光与本振光振幅分布对混频效率的影响。在此基础上,提出了信号光与本振光偏振态不一致时的相干探测模型,通过引入偏振混频效率参数,建立了光学系统偏振像差与相干激光通信混频效率的理论关系,为后续章节定量分析光学系统偏振像差对相干通信系统的影响奠定基础。针对某光学天线终端系统,本文采用三维偏振光线追迹算法分析光学系统的偏振特性,天线终端系统包括潜望式转台系统和离轴天线系统两部分组成。针对潜望式转台系统,推导了转台系统的偏振传输解析表达式,并且详细分析了转台在不同旋转角度下的偏振像差特性。当信号光为线偏振光或者圆偏振光时,利用推导的偏振传输矩阵,计算出转台系统在各个旋转状态时出射光的偏振态,通过对比发现,针对潜望式转台系统,信号光采用圆偏振光时,信号光能够免疫转台的方位轴旋转。在对潜望式转台系统的偏振像差分析基础上,研究了潜望式转台和离轴系统的组合天线系统的偏振特性,分析结果表明,组合系统的偏振像差不是均匀分布的像差,且像差的分布与转台的旋转角度有关。针对某已完成的激光通信检测平台系统,通过对平台通信支路系统内各个元件建模,利用偏振光线追迹法分析了通信支路全系统的偏振特性。通过分析发现通信支路系统具有一定的二向衰减和位相延迟,且这两种像差在光瞳内呈现非均匀分布的特性。为了定量分析光学系统偏振像差对相干通信的影响,提出琼斯矩阵svd分解与pauli-zernike分解相结合的方法来分析光学系统的偏振像差,通过琼斯矩阵的svd分解,将光学系统的光学特性分解为四个独立的部分,这四部分分别对应着光学系统的切趾像差、波像差、二向衰减和位相延迟像差。通过pauli-zernike分解,计算出系统二向衰减和位相延迟在岀曈面内的分布以及相应的pauli-zernike多项式的各项系数。利用提出的偏振像差理论,分别计算了前9项pauli-zernike多项式系数对入射信号光偏振态以及相应的偏振混频效率的影响。计算结果表明光学系统的偏振像差对相干通信的影响与入射信号光的偏振态有关;在各项偏振像差系数中,均匀分布的二向衰减和位相延迟是影响信号光偏振态以及相干混频效率的主要像差。利用提出的偏振像差理论分别分析了天线终端系统和检测平台通信支路系统的像差分布。针对天线终端系统,系统的偏振混频效率在49%-66%之间变化。通过对不同旋转角度下,天线终端系统的偏振像差分布以及各项pauli-zernike系数的对比分析,发现潜望式转台系统是系统偏振像差的主要像差来源,其对光束偏振态以及偏振混频效率的影响远大于离轴天线系统产生的影响。根据天线系统的偏振像差特性,提出了被动保偏和主动保偏两种偏振补偿方案,经过保偏后,系统的偏振混频效率稳定在理论值50%附近。针对检测平台通信支路系统,受偏振像差影响,系统的偏振混频效率为46%。通过分析各项pauli-zernike系数的影响,发现沿y轴方向均匀分布的二向衰减和位相延迟是影响信号光偏振态的主要像差;根据其像差特点,提出主动补偿的方法提高系统的保偏性能。经过偏振补偿后,系统的偏振混频效率为49.8%。针对潜望式转台系统和检测平台通信支路系统,分别搭建了测量实验,实验验证了两个系统的偏振像差特性。本文所研究的模型和采用的分析方法对研制具有高保偏能力的相干通信光学系统提供了理论基础,具有很大的工程应用价值。