大规模多输入多输出(Massive Multi-input Multi-output,Massive MIMO)系统通过在收发两端同时配置数十根到上百根天线,实现大量天线同时首发数据,充分利用空间资源,能够大幅度提高频谱效率和功率效率以及链路可靠性。作为下一代通信系统的关键技术之一,大规模MIMO系统以其不容小觑的潜力,受到产业界和学术界的广泛关注。然而,挑战与机遇并存。随着收发天线数目的极具增大,接收端信号检测的复杂度随之大幅增加。因此,如何以较低的复杂度获得较高的检测性能,是当前亟需解决的问题。本文主要针对大规模MIMO系统的信号检测算法进行研究并且提出了两种有效的检测算法,主要工作内容如下:一、给出了大规模MIMO系统的数学模型,分析了大规模MIMO系统接收端若干传统检测算法,包括最大似然(ML)算法、匹配滤波(MF)检测、迫零(ZF)检测、最小均方误差(MMSE)检测以及串行干扰消除(SIC)检测算法。二、提出了一种低复杂度的基于最小均方误差的子空间搜索检测算法。该算法利用ML准则,以MMSE算法的检测结果作为出发点对子空间进行搜索,能够纠正MMSE检测结果中可能出现的少量错误符号,从而提高检测性能。该算法与ML检测算法相比,不需要搜索整个星座空间,只需搜索有限范围的子空间即可获得接近ML的检测性能。三、提出了一种基于压缩感知的最小均方误差改进算法。考虑到MMSE检测结果与真正发生信号的残差向量的稀疏特性,我们利用压缩感知理论可以有效估计出MMSE检测结果中错误符号的位置,并对其进行纠正,从而实现近似ML的检测结果,该算法与提出的基于MMSE的子空间搜索算法相比,需要更少的计算量。本文对提出的两种检测算法分别进行了数值仿真。仿真结果证明所提算法均能获得较好的性能,为大规模MIMO系统的实际应用和理论研究提供了新的思路和方法。