自由空间光通信(Free Space Optical-Communication，FSO)系统具有频谱宽、容量大、传输速率高、架设方便、无需频谱认证和抗干扰能力强等优点，在星地通信，边海防和民用通信等诸多领域有广泛应用。FSO系统一般是以大气作为传输信道，以光作为载波的通信系统。大气湍流对其影响严重，主要表现为光束倾斜和波前畸变，导致传输的光束质量下降，造成系统误码率（Bit Error Rate，BER）增大、光纤耦合效率减小、通信系统性能下降。自适应光学（Adaptive Optics，AO）技术是克服大气湍流的有效方法，它包含指向性误差校正和波前传感等关键技术。传统的指向性误差校正技术，多采用瞳面分析的方法，存在实施难度大的问题；传统夏克-哈特曼（Shack-Hartmman，S-H）波前传感由于多次分光，存在能量利用率低、传感效率差等问题，在FSO系统中应用有一定的局限性。针对上述问题，本文在分析大气信道的基础上，深入研究基于AO的FSO系统，采用新颖的指向性误差校正技术和波前传感技术克服大气湍流对系统通信性能的影响。本文主要研究内容和创新点如下：（1）在阐明大气湍流形成的原因和Kolmogorov大气湍流模型基础上研究了大气湍流对FSO系统BER和光纤耦合效率的影响。为了提高FSO系统通信性能，将AO技术引入到FSO系统中，给出了基于AO技术的FSO系统组成结构，并详细阐述了AO技术中指向性误差、波前传感、波前控制和波前校正四个关键技术。重点分析了指向性误差校正技术和波前传感技术，指出了传统区域法波前传感技术在FSO系统中应用的局限性。（2）为了更直接地描述FSO系统中大气信道的特性，提出了一种根据FSO系统光纤耦合效率估计大气信道的新方法。在研究了已有大气信道估计方法的基础上，推导出光纤耦合效率与大气相干长度的关系，采用大气相干长度间接估计法估算大气折射率结构常数。通过数值模拟验证了该方法的可行性，该方法无需改变原有FSO系统结构，具有估计方法简单和应用成本低等优点。（3）针对传统光瞳面指向性误差校正存在的能量利用率低、实施难度大等问题，提出了一种在焦面上分析指向性误差的方法。研究FSO系统中指向性误差校正技术的基本原理，推导出指向性误差与BER的关系，搭建了指向性误差闭环校正实验系统。通过实验得到了不同扰动强度下闭环校正前后系统BER的结果：在弱扰动条件下，BER由105下降至109以下；在较强的扰动条件下，BER由101下降至104。实验结果表明，指向性误差校正系统对不同扰动强度下的FSO系统性能均有改善，在弱扰动的条件下校正效果更明显。（4）针对传统波前传感技术能量利用率低的问题，在FSO系统中提出了一种基于焦面的波前传感技术，重点研究了基于相位差异（Phase Diversity，PD）的焦面波前传感技术。在理论上阐明了PD波前传感技术的基本原理，并通过数值模拟分析了其对FSO系统BER和光纤耦合效率的影响。实验结果表明：PD波前传感技术的平均波前检测精度约为0.004；在弱扰动条件下，FSO系统BER从105下降至1013，平均耦合效率由10.32%提高至63.82%。基于焦面的波前传感技术有效抑制了FSO系统强闪烁效应对波前传感的影响，明显改善了FSO系统的性能。（5）为了进一步提高波前传感效率，在FSO系统中提出了全息波前传感技术。重点研究了全息波前传感技术的基本理论，分析了其对FSO系统光纤耦合效率的影响。数值模拟结果表明：在弱扰动条件下，波前检测精度小于0.04，光纤耦合效率由30%提高至70%以上；在较强扰动的条件下，波前检测精度约为0.07，光纤耦合效率由10%以下提高至50%左右。全息波前传感技术可明显提高FSO系统的性能，尤其在弱湍流条件下具有较高的波前检测精度。对比两种波前传感技术得到以下结论：基于焦面的波前传感技术精度较高，可明显改善FSO系统性能，但运算较为复杂；全息波前传感技术波前检测精度较低，但其通过比较相对光强就可以检测波前，运算量小、检测效率高，可实时检测波前，更适合于FSO系统工程应用。本文的研究工作及成果完善了FSO系统信道估计理论，为基于AO的FSO系统指向性误差校正及波前传感开辟了新的研究思路；对优化FSO系统体系、促进FSO系统应用，具有一定的理论意义和应用价值。