多输入多输出（MIMO）在未来的第五代通信系统（5G）中将依然成为一项关键的基础技术，它通过在发送与接收端配置多根天线，能够实现高频谱效率和能量效率。为了实现MIMO技术的潜在优势，在接收端设计高效的联合检测算法极其重要。随着5GMIMO系统配置的天线数目大幅度地增加，信号检测的复杂度也会显著增长。为了获得复杂度低且性能优异的检测算法，尤其对于较大规模的MIMO系统，进一步研究信号检测问题仍然具有极为重要的意义。因此，本文针对MIMO系统中高效的信号检测算法进行探索研究，进而提出一系列低复杂度且高性能的联合检测算法。本文的主要贡献总结如下：　　1.对MIMO系统中的典型检测算法进行深入研究，并提出一种低复杂度的列表SML-SIC检测算法。该算法的子检测器由简化最大似然（SML）检测器和连续干扰抵消（SIC）检测器组成。传统SIC算法每次只能对单一符号进行检测，而所提算法则利用相邻符号进行联合滑动检测，可以获得更高的分集增益。仿真结果与分析表明，与传统列表SIC检测算法相比，所提列表SML-SIC检测算法以少许复杂度的增加为代价显著提升了检测性能。　　2.提出一种低复杂度的空间交替迭代滤波（SAIF）算法，可以快速收敛并有效地改善传统MIMO检测算法的性能。SAIF算法将传统检测器的结果作为输入的初始值，使其收敛到与接收信号矢量之间的欧氏距离更小的输出值。每次迭代过程中，该算法在消除其他符号干扰的子掩空间上对部分符号进行联合检测修正。仿真结果表明，相比原始检测器，SAIF辅助的MIMO检测算法的复杂度略有增加，但性能获得明显提升。　　3.提出一种低复杂度的分组交替迭代列表（GAIL）检测算法。基于递推干扰抑制和连续干扰抵消技术，GAIL算法将高维信号矢量划分为多个子组，然后对每个子组采用K-best检测器进行检测。通过对检测结果建立候选列表和对不可靠符号进行迭代修正，GAIL算法可以有效地减缓组间干扰。所提GAIL算法可以通过灵活的参数设置实现性能和复杂度很好的折中。仿真结果表明，GAIL算法能够获得近似最优检测性能，并维持较低的计算复杂度。此外，基于并行处理技术，GAIL算法在实时通信系统中可以实现快速检测。　　4.基于最大化最小接收信噪比准则，提出一种快速对偶格约减（FDLR）算法，可以获得正交缺陷度最小的对偶基。同时，给出FDLR算法的树搜索实现方案，可以实现性能与复杂度的灵活折中。相比已存在的对偶LLL（DLLL）算法，FDLR算法需要更少的迭代时间并产生更好的正交基矢量。此外，尤其对于较大规模的MIMO系统，FDLR辅助的检测器获得比DLLL辅助的检测器更优异的性能和更低的复杂度。