基于低密度校验码(Low-Density Parity-Check, LDPC)的比特交织编码调制(Bit-Interleaved Coded-Modulation, BICM)系统因为其结构灵活、译码性能优异、频谱利用率高以及实现复杂度低等特点,作为目前以及下一代无线通信链路中的一种关键技术而受到广泛关注。目前,对LDPC编码BICM系统的研究主要集中在纠错码、映射标识、交织器以及迭代译码算法的设计和改进上。基于这些方面的研究虽然已获得颇丰的成果,但仍存在着诸多问题需要深入解决,尤其是针对高阶调制BICM系统的研究。例如高阶调制系统里高效低复杂度的译码算法改进,最优映射标识的选取和设计,迭代译码系统收敛性能的准确评估,以及提高译码性能的交织算法设计等。基于上述问题,本文针对高阶调制的LDPC编码BICM系统进行系统优化和算法改进的研究,主要工作如下：1、论文首先研究高阶调制BICM系统中,高效低复杂度的译码算法改进。针对目前广泛使用的BICM次优并行等效模型,分析了基于该等效模型所推导的译码算法信息处理过程中的缺陷,提出了一种联合解调的改进型译码算法。证明了所提出的联合解调译码算法是BICM系统中的近最优译码算法,在合理假设条件能够满足的情况下,该算法是高阶编码调制系统的最大后验概率(Maximum A Posteriori Probability, MAP)译码算法的等价。同时,仿真结果表明,采用联合解调译码改进算法能获得比传统译码算法更接近香农极限的纠错性能。2、映射方案的选取是影响译码算法性能的关键因素之一。由于采用了联合解调的译码策略,编码调制映射分集增益得以充分利用,基于BICM次优等效模型下的最优映射标识评价准则已不再适用。在Caire的BICM理论体系分析基础上,本文推导了联合解调译码BICM系统的信道容量和误码渐近性能限,并在此基础上给出了联合解调译码BICM系统最优映射标识的评价准则。系统仿真结果表明,基于新的映射标识评价准则挑选的映射方案相比其他映射方案能获得更快更好的译码收敛性能。3、论文研究了适用于高阶调制BICM系统的分析工具。从BPSK调制下LDPC码分析工具的研究中可知,外部信息转移(Extrinsic Information Transfer, EXIT)图是目前最广泛应用的一种复杂度低,描述收敛性能准确的理论分析工具,在二进制迭代译码系统分析和LDPC码字优化设计中发挥了重要的作用。但传统基于比特的EXIT图在推广至高阶调制BICM系统下LDPC码性能分析过程中,由于在信道中传输的是调制后的符号序列,其初始置信度分布不再符合近似高斯分布,因此直接利用传统EXIT图给出的收敛性能预测与实际系统译码性能之间存在较大误差。同时,传统的EXIT图也无法用以分析联合解调译码的BICM系统收敛性能。针对上述不足,本文提出了一种基于符号级的EXIT图分析工具,以实现高阶调制BICM系统译码收敛特性的准确分析,及编码调制的联合优化。系统仿真结果表明,符号级EXIT图所给出的高阶调制BICM系统的译码收敛分析与实际仿真译码结果相符合,是适用于高阶调制BICM系统下的准确分析工具。同时,符号级EXIT图能够对联合解调译码BICM系统进行编码调制的联合优化,在不需要经过完整通信系统仿真的基础上,快速有效的获得最优映射方案及最优码字结构的设计方案。4、论文还对高阶调制BICM系统中影响译码性能的各个因素进行了研究和总结。并从码字结构与不同调制映射方式之间匹配的角度出发,分析和研究了BICM系统中出现多边调制符号对系统译码性能产生的影响。本文首先通过信号映射分集可靠度以及校验方程有效性这两方面,对多边调制符号给迭代译码系统带来的影响进行了分析。然后通过互信息传递理论分析了多边调制符号的出现导致高阶调制BICM系统性能恶化的原因。这个影响因素的揭示为进一步提高LDPC编码BICM系统的译码性能找到了新的突破口。5、针对多边调制符号对BICM系统的影响,本论文提出了一种以消除多边调制符号为目的的新型交织算法。与直接对LDPC的码字结构进行优化设计相比,采用提出的交织算法具有实现复杂度低的优点。仿真结果表明,在不同译码算法,调制方式和信道环境条件下,消除了多边调制符号的LDPC编码调制系统均能获得比未改进前更好的译码纠错性能。