随着信息社会的快速发展,人们对通信容量的需求越来越大,然而在信道频带受限时,严重的频谱拥挤将会导致信息传输质量的大幅度恶化。为了更进一步提高频带利用率,增大系统通信容量和实现光信号的长距离传输,对于高频谱利用率的多维多阶调制格式的研究越来越受到关注。最小频移键控(Minimum-Shift Keying,MSK)作为一种特殊的连续相位调制(Continuous Phase Modulation,CPM)格式,由于自身具备相位连续、包络恒定、频谱能量集中、边带衰弱快等优点已广泛应用于无线数字通信系统中。本文提出了一种适用于相干检测的多幅度最小频移键控(Multi-Amplitude Minimum-Shift Keying,MAMSK)调制方式,并且搭建了一个基于MAMSK调制的单载波相干检测系统,同时在此基础上采用非规则准循环低密度奇偶校验码(Low Density Parity Check codes,LDPC)作为信道纠错编码进一步提高系统的误码性能。本文研究的主要工作如下:1、基于相位和幅度调制的混合方法提出了一种适用于相干检测的MAMSK调制方案,该方法结合了幅移键控(Amplitude Shift Keying,ASK)和MSK两种调制格式的优点,使其不仅具有MSK格式的相位连续性,同时也提高了频谱利用率。与使用光外调制器产生信号不同,本文采用在电域内产生MAMSK基带信号并通过光正交(I/Q)调制器调制到光载波上,这样可以大大简化发射端的配置和降低系统的复杂度。并且搭建了MAMSK相干光通信系统,其主要由MAMSK发送机,光I/Q调制器,光纤链路和MAMSK接收机组成。通过软件仿真比较和分析了MAMSK与二幅度差分正交相移键控(2ADQPSK)和四幅度差分相移键控(4ADPSK)三种多幅度调制的传输性能。仿真结果表明MAMSK调制格式在频谱效率、色散容忍度、非线性容忍度和误码率等方面均有一定的优势。2、提出了基于LDPC编码的MAMSK编码调制方案,采用非规则准循环LDPC码作为信道纠错编码来改善符号纠错能力。由于其奇偶校验矩阵的稀疏性,参与同一个校验方程的信息比特位数量小并且分散,使得编码本身具有抗连续突发差错的特性。本文将LDPC编码技术与MAMSK调制技术相结合,搭建了LDPC-MAMSK相干光通信系统,在仿真中,针对不同的参数对LDPC码性能的影响作了比较,仿真结果表明采用LDPC编码能有效降低MAMSK相干光系统的误码率,并且在长距离传输时可获得更高的编码增益。