近年来，相干光正交频分复用（CO-OFDM）光通信系统由于高的频谱利用率、对色散强的鲁棒性等优势而成为人们研究的热点，但是该系统对非线性效应的敏感性，限制了它的传输性能。研究表明，后向传输(BP)补偿算法能够很好地补偿通信系统的非线性损伤，是一种具有应用前景的方法。但是由于其具有高的计算复杂度使得它的实现比较困难。鉴于此，本文根据非线性损伤与光功率的关系提出一种选择合适的阈值功率点的方法来降低BP补偿算法中高的计算复杂度。主要内容如下：（1）分析CO-OFDM系统的原理，及其所采用的主要技术。利用VPI仿真软件构建CO-OFDM系统模型。基于所搭建的仿真平台，分析非线性损伤对CO-OFDM系统性能的影响。（2）基于NLSE推导了进行BP补偿时所利用的非线性相位补偿因子。选择合适的阈值功率点对传统的BP补偿算法进行改进，以降低其高的计算复杂度。（3）分别对传统的和改进的BP算法的补偿性能进行比较分析。通过比较可知，改进的BP补偿算法不仅降低了算法的计算复杂度，并且改进的BP补偿算法对系统的补偿性能比传统的BP补偿算法的补偿性能也略有提升。