自适应光学是一种实时测量和校正波前畸变的光学新技术，目前已广泛应用于天文观测、激光核聚变、人眼视网膜成像等领域，并成为这些研究领域的重点。在大气激光通信（大气层内的激光通信）中，大气湍流的影响成为阻碍其实用化的最主要因素之一。为了抑制大气湍流对激光通信的影响，人们借鉴自适应光学技术在其他领域的成果，开始研究自适应光学对激光通信中光束的质量改善问题。本文紧跟这个研究热点，以大气激光通信应用为背景，开展了自适应光学系统校正波前畸变的理论分析和实验研究。本文详细分析了大气湍流对激光传输以及成像系统的影响，根据自适应光学的基本原理，从波前探测、波前重构和波前控制三个方面对自适应光学系统进行了深入研究。在理论分析的基础上，建立了自适应光学系统的数值模型，用于自适应光学系统校正波前畸变的模拟研究。为了提高自适应光学系统的校正精度，本文在质心计算和波前重构两个方面，分别提出质心计算的高阶矩方法和最优重构阶数的选取方法，并通过数值模拟验证了两种方法的性能。实验结果证明：在质心计算中使用高阶矩方法可以有效地提高质心位置的精度；在波前重构中使用合适的重构阶数可以使重构误差最小。为了满足自适应光学系统的实时性，利用帧内流水线和并行处理的结构设计了波前控制器，并根据双流水线的思想，使波前控制器中的波前斜率计算在CCD图像输出结束时就基本完成了，保证了系统的实时性。根据波前补偿原理，建立了一套基于Shack-Hartmann波前传感器和连续面型变形镜的自适应光学实验系统，采用自校正和相对校正两种方法，验证了系统对波前畸变的校正能力。由于实验条件所限，该系统采用计算机作为控制单元，系统的工作带宽较窄，不利于波前的实时校正。但是，该系统可以很好地校正静态的波前畸变。为克服传统控制算法对控制精度的影响，本文提出一种改进的迭代控制算法，使用波前的rms作为判断依据，使经过校正的输出波前逐渐收敛于所预期的参考波前，实验通过开环和闭环校正验证了整个系统的性能。结果表明：该自适应光学平台能够基本消除系统自身带来的波前畸变，使校正之后的光束接近理想的平面波前；对于变形镜校正范围之内的畸变波前，系统可以很好的校正。