大规模MIMO技术作为第5代无线通信系统的关键技术之一,以其高效的频谱使用效率、高速的信息传输速率和抗干扰能力强的特点成为无线通信领域的一个重要研究热点。但是随着系统规模的增大,基站端接收机信号处理的复杂度成为一个亟待解决的问题。本文基于大规模MIMO的系统模型及其信道特性,研究了现有的大规模MIMO系统信号检测几种常用算法,重点研究了两种线性检测算法——迫零和最小均方误差检测算法。随着大规模MIMO系统的天线数目增加,迫零检测和线性最小均方误差检测算法的计算复杂度较高,因此本文旨在设计并实现大规模MIMO系统上行链路中的低复杂度信号检测算法。近似矩阵求逆法和线性方程组近似解迭代法是两种通过避免矩阵求逆运算来降低计算复杂度的检测算法。本文详细分析近似法与迭代法的特性及其收敛性,针对Newton近似矩阵求逆法初始迭代矩阵计算复杂度高以及线性方程组迭代法收敛速度慢等问题,通过理论分析及数学推导得到Newton近似矩阵求逆法迭代与线性方程组迭代方法迭代次数间的函数对应关系,从而对Newton迭代算法的迭代初始矩阵进行改进,使改进的Newton迭代法在较低计算复杂度的条件下能够以更快的收敛速度得到近似最优解。本文针对迭代法在收发天线数相同时性能欠佳的问题,详细研究了动态禁忌搜索(RTS)算法在大规模MIMO系统信号检测中的应用,针对RTS算法中初始解向量计算复杂度过高的问题,本文提出了一种基于逐次超松弛迭代(SOR)计算初始解向量的改进的SOR-RTS算法,从而有效地降低了RTS算法的计算复杂度。然后针对改进的SOR-RTS算法在高阶调制的大规模MIMO系统中检测性能较差的问题,在改进的SORRTS算法的搜索迭代过程中对初始解向量进行随机化处理,以提升大规模MIMO系统高阶调制时的检测性能。通过理论分析以及仿真实验结果证明:在不同天线配置以及调制阶数的大规模MIMO系统中,引入随机化初始解向量的SOR-RTS算法在高阶调制下能以较低的计算复杂度渐进达到最大似然检测算法(ML)的误比特率性能。