现代无线通信系统中,用户对信息传输速率和传输质量的需求日益提高,紧缺的频谱资源与复杂的传输环境逐渐成为发展的主要限制。在这种情况下,大规模MIMO和高性能的信道编码技术开始引起人们的广泛关注。大规模MIMO技术相比传统的MIMO技术,通过增加天线数目,能够在不增加带宽和发送功率的前提下进一步提升系统容量；而多进制低密度校验码(LDPC)由于其优越的抗随机错和突发错能力,可以有效提高系统可靠性。因此,大规模MIMO技术和多进制LDPC码的联合迭代系统,可以兼顾系统的传输速率和可靠性,具有重要研究价值。本文以多进制LDPC码和大规模MIMO检测技术为研究对象,研究了低码率多进制LDPC码基于多进制变换的构造算法,以及多进制LDPC码与大规模MIMO检测联合迭代系统的优化设计方法。首先,论文介绍了MIMO检测技术与多进制LDPC码的基本原理。针对MIMO检测技术,介绍了其系统模型以及线性、非线性两类检测算法,作为大规模MIMO检测算法的理论基础；针对多进制LDPC码,介绍了其基本概念和描述方式,给出了具有快速编码结构的准循环码的编码与构造算法,并介绍了几种常见的译码算法；此外,论文还介绍了最小均方误差(MMSE)检测与多进制LDPC码的联合迭代系统,作为与后续章节中算法复杂度与性能比较的标准。其次,论文研究了多进制变换算法及其应用。重点研究了多进制变换算法在低码率多进制LDPC码构造中的应用,提出了伽罗华域和所有符号的全排列组合中多进制变换系数的选取准则,通过选取最优系数来构造具有最优性能码字,并与传统算法进行比较验证了该算法的有效性。论文还将多进制变换算法应用于混合自动重传请求(HARQ)系统和MIMO发送分集系统中,在不增加复杂度的前提下,获得了优于传统算法的性能。接着,论文研究了大规模MIMO系统中似然上升搜索(LAS)检测与多进制LDPC码的联合迭代系统。在介绍LAS检测算法、符号域M-LAS检测算法的基础上,论文针对大规模MIMO系统的上行链路,提出了高阶调制时M-LAS检测与多进制LDPC码的联合迭代算法。在联合系统中,将译码器输出的硬判决结果反馈回检测器作为初始向量,并将译码校验结果和外信息反馈回检测器,用于决定其搜索集合,可以在缩小搜索范围的同时提升系统性能。仿真中,通过与相应的MMSE系统从性能和复杂度的角度进行比较,验证了LAS检测在大规模MIMO系统中的适用性。最后,论文研究了置信度传播(BP)检测算法与多进制LDPC码的联合迭代系统。在二进制BP检测算法及其高斯近似简化的基础上,论文提出了基于符号域的高斯近似BP检测算法,并将其分别应用于多用户和单用户MIMO系统。在多用户MIMO系统中,研究了符号域高斯近似BP检测算法与多进制LDPC码的联合迭代系统,提出了根据译码校验结果改进反馈外信息的方法。在单用户MIMO系统中,提出了符号域高斯近似BP检测算法与多进制LDPC码的因子图联合迭代算法,将检测器和译码器因子图中的变量节点进行了合并,通过检测节点和校验节点的同时更新加快了系统收敛速度,取得了优于独立检测译码系统与传统联合迭代系统的性能。