随着近年来宽带上网和智能手机的到来，对带宽需求较大的多媒体应用程序，如社交网络页面或视频点播已经无处不在。网络流量以近指数函数的速度增长，这使得核心网络正面临着前所未有的压力。所以寻找并设计一个能够解决“传输容量危机”的方案，包括使用更高阶的调制格式，相干检测-数字均衡等技术是现在科学家致力于研究的热点课题。本文主要针对光纤传输网络的“传输容量危机”问题和如何提高传输效率问题给出了解决方案。具体研究并分析了光纤传输系统中的损耗和包括光纤色散在内的线性损伤效应。其中，损耗分为内部损耗和外部损耗两种，而光纤中的色散效应包括色度色散和偏振模色散。另一方面，光纤的非线性效应包含很多种，如四波混频效应（FWM），自相位调制效应（SPM）以及交叉相位调制效应（XPM）。而光纤非线性效应和信道串扰也在本文的研究范围内。针对以上问题，本文提出了一种可配置的8PSK（八相相移进制调制格式）/8QAM（八正交幅度调制格式）两种调制格式的调制器，并介绍了这种调制结构的差分编码规则，对比了这种结构与DPSK（差分二相移进制调制格式）以及DQPSK（差分四相移进制调制格式）预编码调制结构的差别。然后，我们对这种结构进行了进一步的改进，新的结构可以产生QPSK，PM-QPSK（偏振复用-QPSK），8PSK，8QAM四种先进的光调制格式。在实际的应用环境当中，根据链路情况和传输容量的具体要求，这种调制格式可以选择配置不同的调制码型进行传输。不仅如此，我们同时利用相干检测-数字均衡技术来补偿光纤网络在传输过程中的损伤。其中我们主要介绍了数字信号处理过程中的几种重要的算法，包括：包括色散补偿算法，非线性补偿算法（DBP），解偏振复用算法（CMA），载波相位估计算法（CPE）。从论文仿真结果可以看到，本文提出的光调制结构对噪声的容忍度与理论值的误差在合理的范围内。并且DSP算法有效的对光纤链路中的传输损伤（包括色散效应，非线性效应，偏振模色散效应和激光相位噪声等）进行了补偿。最后我们利用VPI软件对灵活可配置的光调制器进行传输仿真，在相干接收端我们用matlab进行线下数字信号处理。处理结果充分印证这种了灵活自适应的光调制结构的优越性。在实际的应用环境当中，本文提出的解决方案不仅有利于提高光纤通信系统的频谱利用率和链路传输性能，还可以更好地满足光通信系统对多种复杂传输链路环境的要求。