多输入多输出(Multiple-Input Multiple-Output, MIMO)技术通过多根天线并行发送和接收数据显著提高了系统的频谱效率和传输可靠性,因此一直以来都是通信领域的研究热点之一。随着数据流量的指数型增长,目前天线端口数为8的LTE-Advanced系统(3GPPRelease 13将天线端口数量扩展为12/16)将难以满足爆炸式增长的移动数据业务。大规模MIMO技术,作为下一代通信系统的关键使能技术之一,利用上百根天线能够进一步提高系统频谱和能量效率,而不需要增加额外的频谱资源。然而,随着天线数量的增加,空间信道的环境将会变得愈发复杂,这对接收端信号的高效恢复构成了巨大的挑战。基于此,本文主要研究大规模MIMO系统中的信号检测算法。首先,本文介绍了三种基站侧信号接收处理结构:独立的信号检测与信道译码,Turbo迭代的信号检测与信道译码以及联合的信号检测与信道译码。其中,Turbo迭代的信号接收结构通过迭代信号处理可以取得优异的检测性能,但同时伴随着较大的处理时延,因此本文将针对软输入软输出(Soft-Input Soft-output, SISO)的球译码检测提出了一种低复杂度的混合树节点枚举策略,它可以自适应地选择候选节点的数量。同时,QAM星座图根据不同半径的同心圆划分为若干个子集,利用这种极度对称的几何特点,可以在不计算信道度量的情况下得到所有星座点的搜索序列。仿真结果表明所提方案在保证原有的算法性能的前提下,实现了更低的计算复杂度。其次,本文分析讨论了大规模MIMO系统中的线性检测理论,介绍了基于Neumann级数展开以及各种基于迭代的信号检测算法。利用大规模MIMO中的信道硬化特性,可以将传统的线性检测算法,如匹配滤波(MF)检测、迫零(ZF)检测和最小均方误差(MMSE)检测,应用于大规模多天线系统中并保证一定的算法性能。但是线性检测需要面临的一大挑战是信道相关矩阵的求逆问题,这主要是因为较大维度的矩阵的求逆运算在硬件中难以实现。本文提出了一种改进的基于Jacobi迭代的线性检测算法,避免了矩阵求逆的过程,对于迭代的初始向量通过基于截断Neumann级数展开得到,这样有助于迭代算法以更快的速率收敛至最优解向量。最后,本文分析大规模空间调制(Spatial Modulation,SM) MIMO系统中的信号检测算法,并针对广义的空间调制方案,提出了一种新型的低复杂度的基于HCD的球译码检测算法(HCD-SD),它可以联合检测TAC向量和MQAM符号。该方案首先提出了一种新型的混合星座图,基于这种混合星座图,对接收信号进行MMSE准则的信号估计,最后再对估计结果进行球译码校准。