MIMO技术能够显著地增强系统的抗衰落能力,提高系统容量和频谱利用率；高阶调制是解决有限的频谱资源与高速率的传输需求二者之间矛盾的有效手段；高性能的接收算法是获得高质量的数据传输的可靠保证。因此,本文以高阶调制的MIMO系统中的检测算法做为研究对象。 论文第二章研究了高阶调制的MIMO系统中低复杂度的球形译码算法,首先回顾和比较了两种经典的球形译码算法FP和SE;指出了SE算法在一定条件下可以退化为ZF-DFE,并给出了证明；之后针对ZF-DEE研究了子信道的排序优化,给出了最优排序定理及其证明,并推导了最优排序的快速算法；接着分析了误判决反馈对ZF-DFE的误码性能的影响,指出了误码性能上的瓶颈在于前级子信道上的符号误判决概率：最后针对这一瓶颈做出了改进,构造了MKSE球形译码算法。该算法实现了ZF-DFE与SE在算法结构上的统一,具有恒定的计算复杂度。仿真结果显示：经过子信道排序优化后,MKSE算法可以获得逼近ML的误码性能,并且其计算复杂度明显低于同类算法。 论文第三章研究了高阶调制的MIMO系统中的半定松弛检测算法,分别针对16-QAM信号和64-QAM信号构造了一种具有O(n4.5tK2+n3.5tK3)求解复杂度的半定松弛模型(注：此处nt为发送天线数,K为星座图大小的平方根)。该松弛模型使用线性矩阵不等式来表达调制信号的星座图约束,避免了引入过多的松弛变量,较好地控制了优化问题的规模。另外,在推导新的半定松弛模型过程中,还指出了该模型本质上是ML检测问题的Lagrange双对偶优化问题,证明了该松弛模型紧于Wiesel所构造的问题模型。仿真结果也表明,我们所提出的半定松弛检测算法在误码性能上优于现有的几种同类算法,而且没有过高地提升计算复杂度,尤其是在调制阶数较高的情况下,性能改善非常明显。 论文第四章研究了BICM MIMO系统中的软输入软输出高阶解调算法的设计,在AlRustamani构造的基于贪婪准则的软解调算法基础上,提出了三种改进办法：改进权重的贪婪算法,实数域的贪婪算法和比特级的贪婪算法。其中,改进权重的贪婪算法修改了AlRustamani算法中的权重系数的定义式,将调制信号的幅度引入到权重系数中；实数域的贪婪算法将系统模型由复数域变换到实数域,然后针对实数域上的MAP度量函数的数学形式,构造了相应于实数符号的权重系数；而比特级的贪婪算法则是先通过中间变量映射的方法将调制符号与编码比特统一表达为二进制矢量的二次型,并依据新的MAP度量函数形式构造权重系数。从算法的最终性能来看,三种改进办法当中,只有实数域的和比特级的贪婪算法可以在误比特性能上获得明显的改善,而改进权重的贪婪算法由于受近似公式的影响难以获得性能上的提升。实数域的和比特级的贪婪算法均实现了将AlRustamani算法的适用范围从QPSK调制推广到M-QAM调制这一设计初衷。