随着相干检测技术以及数字信号处理技术的发展,高速光通信系统成为实现大容量传输的主流方案,在现代通信领域占有非常重要的地位。而且伴随着5G技术的提出和应用,以及各种新兴的互联网应用蓬勃发展,迫切需要建设一个长距大容量、高弹性、高可靠性、以及低时延的高速光纤通信网络。为满足这一目的,一个可靠的实时光通信参数监测系统体系的建立是必不可少的。而目前长距离光纤通信面临的一大难题就是克尔效应累积的非线性相位噪声,它会引起信号失真。所以对损伤信号的非线性效应监测是发展高速光网络面临的一个重要课题。本文针对高速长距相干接收光通信链路,基于深度学习方法,系统分析了利用卷积神经网络算法实现光纤通信系统中非线性相位噪声的监测方法。通过搭建实际光纤链路的仿真相干检测系统,将接收的星座图图像进行了图像预处理,并用于CNN模型监测非线性相位噪声的研究算法的输入。随后提出了在CNN模型输出预测数值对应的概率向量后,添加一个期望层,实现了对预测值连续且更精确的输出。本文的主要研究工作如下:（1）从目前新兴互联网技术的探讨出发,描述了在光纤链路系统中对非线性相位噪声监测研究的重要性,简要介绍了当前光学性能监测方法的研究现状,分析了机器学习方法在实现不同参数监测上的可行性,以及现有神经网络模型的优势和不足之处。（2）针对传统CNN模型的缺点,引出一种轻量化的卷积神经网络——MobileNet,并借鉴此网络构建了对非线性相位噪声估计有效的监测模型。同时本研究基于QPSK分区法,把预测模型扩展应用到具有更高阶调制格式的光纤链路系统。（3）通过仿真平台搭建了相干通信链路系统并得到训练数据。再使用TensorFlow搭建了一个三通道的卷积神经网络模型。对传输信号的非线性相位参数进行监测结果测试。结果表明,当光信噪比大于18dB、22dB和27dB时,非线性相位估计的平均相对误差分别小于5.0%、2.0%和1.0%。本文还探究了不同传输速率对CNN监测结果的影响,分别使用了三种不同的传输速率进行测试（56Gbit/s、70Gbit/s和112 Gbit/s）。测试结果显示:不同传输速率下,非线性相位的估计误差随着理论值的变化虽有波动,但整体结果都小于2%。所以在误差为2%的容忍下,可以得出该算法对数据速率的变化不敏感的结果。为了评估新方法的效能,本文还将其与导频辅助DA-ML算法进行了对比。结果表明,本文给出的方法在性能上比DA-ML算法更优。充分表明了将CNN方法应用于非线性相位估计的有效性。