自由空间光通信（FSOC,Free Space Optical Communication）是以光为载体,大气为信道的无线通信方式。FSOC系统具有通信速率高、无需频带许可、保密性强和安装架设灵活等优点,已成为无线通信领域未来研究的热点之一。FSOC系统在星地通信、星星通信、边海防等领域应用广泛。随着无线通信中对“最后一公里”的高带宽、低成本接入需求的不断提升,FSOC系统在移动通信领域也受到越来越多的关注。然而受到激光器功率的限制,采用强度调制/直接探测方式的传统FSOC系统无中继传输距离近。且受到调制方式的限制,传统FSOC系统无法满足高速率的通信要求。相干FSOC系统是提高灵敏度、增大无中继通信距离的有效手段。相干FSOC区别于强度调制/直接探测系统,具有更强的接收灵敏度、更灵活的调制方式、更高的传输速率和更远的无中继通信距离,已成为FSOC领域的重要发展方向之一。由于相干FSOC系统以大气作为传输介质,湍流效应对光束质量影响无法避免。此外,由于采用相干接收方式,大气湍流引起的波前相位失配对通信性能的影响尤为严重。因此,高效的信道补偿技术是远距离相干FSOC的有力保障。自适应光学（AO,Adaptive Optics）技术被认为是FSOC信道补偿的有效手段。它采用实时测量、闭环校正的方式抑制大气湍流效应对相干FSOC系统性能的影响。AO技术已在医学影像和空间目标监视等领域得到广泛应用。本文聚焦于采用AO的大气信道补偿技术,着重分析了基于AO技术的相干FSOC系统通信性能。在介绍AO系统和相干FSOC基本原理的基础上,分别从无波前传感（WFSless,Wavefront Sensor-less）技术、基于相位差异（PD,Phase Diversity）的波前传感技术和基于夏克-哈特曼（SH,Shark-Hartmman）波前传感器的AO实验分析三个方面展开研究工作。在WFSless技术研究中讨论了基于随机并行梯度下降（SPGD,Stochastic Parallelism Gradient Descent）和改进的人工鱼群（MAFS,Modified Artificial Fish School）两种优化算法,并分别评估了它们对相干FSOC系统的信道补偿效果。本文的主要研究工作集中于以下几个方面:1、阐述了本课题研究的背景和意义,针对强度调制/直接探测系统存在的问题,论述了相干FSOC系统信道补偿技术的重要性,并详细介绍了相干FSOC系统和AO技术国内外发展状况。2、描述了AO的基本原理,给出了AO基本结构框图,分别说明了倾斜校正和高阶像差校正的基本原理,并阐述了基于SH波前传感器和基于WFSless技术的高阶像差校正原理。此外,详细描述了相干FSOC系统的相干接收原理,分别阐述了外差探测和零差探测基本流程,并从同步方式和异步方式两个方面描述了外差探测和零差探测的解调过程。另外,结合Kolmogorov大气湍流理论,描述了大气湍流的数学模型及其对激光光束的影响,给出了大气湍流的空域特性表达式,为后续研究工作奠定了必要的理论基础。3、重点分析了基于SPGD算法的WFSless-AO单元对相干FSOC系统混频效率的影响。根据混频效率与Strehl比的近似关系,分析了基于SPGD算法的WFSless技术对系统Strehl比的影响。并采用数值模拟和实验验证两种方法评估了基于SPGD算法的WFSless-AO单元对相干FSOC系统性能的影响。结果表明:在不同的扰动条件下,基于SPGD的AO单元均可有效提高相干FSOC系统混频效率,从而提高系统通信性能。区别于传统的SH波前传感器,基于SPGD算法的WFSless技术无需波前传感器、算法简单、易于实现。4、针对SPGD算法效率低的缺点,详细分析了基于MAFS算法的WFSless-AO对相干FSOC系统大气湍流效应的抑制效果。分别讨论了静态和动态像差校正方法,并构建了动态像差校正模型。结果表明:在不同的采样时间和适当的可视范围条件下,MAFS可有效校正由大气湍流引起的波前畸变。此外,还比较了MAFS算法、传统人工鱼群算法、SPGD算法和模拟退火算法的性能。比较结果表明:相比于SPGD算法和模拟退火算法,MAFS算法具有更高的迭代速度,且比传统人工鱼群算法具有更优的迭代收敛值。5、引入了基于PD的波前传感技术以解决SH波前传感器能量利用率低的问题,分析了基于PD波前传感的AO技术对相干FSOC系统BER的影响。在二进制相移键控（BPSK,Binary Phase Shift Keying）调制、零差探测条件下,给出了相干FSOC系统BER与混频效率的关系,并采用数值模拟的方式评估了采用基于PD波前传感的AO单元校正前后相干FSOC系统BER性能。结果显示:校正后系统BER明显下降。此外,还分析了接收端单比特接收光子数对系统BER的影响。结果表明:当单比特接收光子数大于15时,校正后系统BER可下降至10^-9。6、搭建了基于SH波前传感器、两级倾斜校正单元和97单元连续镜面变形镜的AO实验系统,并详细讨论了其在不同的大气时域和空域特性条件下的湍流效应抑制能力。实验结果表明:在BPSK调制、零差探测条件下,AO可有效提高相干FSOC系统通信性能。在相同的Greenwood频率条件下,随着大气相干长度的增大,BER降低1-2个数量级。在相同的大气相干长度条件下,随着大气Greenwood频率的增加,系统BER提高2-3个数量级。即在接收天线口径和子孔径参数确定的前提下,大气的时域特性比空域特性对相干FSOC系统的性能的影响更大。