大规模多入多出阵列天线(Massive MIMO)是未来无线通信的核心技术之一,该技术是一种利用基站侧大规模阵列天线构建可高效利用空间分集信息的方法,解决了传统无线通信系统信号在空间扩散的利用难题。利用大规模多入多出阵列天线技术,每个用户都可以获得终端和基站之间独立的空域信道,每个用户都可以使用该独立空域信道的所有时频资源,实现从多用户共享时频资源到多用户独立占用时频资源的演进,使得蜂窝通信网络结构发生了根本变化。由于时频资源在小区内得到了多重复用,小区内的频谱效率得到了成倍增长,无线网络小区容量得到极大提升。除此以外,由于大规模天线阵列的使用,会带来很高的阵列增益,使得接收信号的信噪比得到大幅提升;而波束变窄,无线传播环境中的多径衰落现象也可以得到有效抑制,两者结合进一步提升了单个链路的容量。因此,大规模阵列天线技术对未来移动通信系统的容量提升,潜力巨大。因此,过去几年人们对大规模天线阵列系统开展了大量研究并取得了重要成果,但是在信道建模、导频污染和阵列构型优化等方面还存在着若干基础问题有待进一步挖掘,深化研究对于大规模阵列天线技术的潜能利用,意义重大。本文围绕三维信道建模、导频污染控制和多径环境中的阵列优化等若干方面,开展了基础理论和方法研究,主要创新成果如下:创新点一:针对目前二维信道模型和三维信道到达角分布模型不能完整表达大规模天线阵列信道中垂直空间传播信号传播特征、传播能量和到达角相关性的问题,开展了三维空间能量和到达角联合分布的信号传播建模研究,提出并建立一种基于三维空间DOA和到达能量的融合信道模型,给出了联合分布函数。该信道模型使用随机分布散射体结构的电波传播预测方法,解决了现有三维信道模型需要使用特定散射体分布带来的使用局限性问题,并针对不同小区的散射体分布范围,给出了宏小区和微小区的到达能量和到达功率的联合分布函数。通过仿真,并与现有结果的对比表明,传统二维信道模型的多径信号数量随着到达能量的衰减而增加,而三维信道模型和实测结果的多径信号数量都随着到达能量的衰减而增加,因此本文提出的信道模型与建立在实测基础上的信道模型在功率时延分布和多径信号到达角分布方面具备更好的一致性,能够更有效的反映三维真实传播环境中的信道特征,提升大规模阵列天线无线通信系统设计的针对性和有效性。创新点二:针对多小区导频污染情况下小区间干扰制约大规模阵列天线无线通信系统性能提升的问题,开展了小区间干扰模型分析和干扰消除的研究,提出了一种基于小区间协作的导频污染消除方法。该方法利用大规模天线阵列空域滤波的特性,通过两次波束赋形的方式分别实现小区内干扰消除(第一次波束赋形)和小区间干扰消除(第二次波束赋形),解决了现有小区间频率多色复用方法频谱效率低、小区间导频异步传输方法残余干扰大的难题。通过仿真,并与现有结果的对比表明,本文方法能够有效地解决Massive MIMO系统的导频污染问题,为打破Massive MIMO系统的容量瓶颈提供了有效的途径。同时,通过小区间的协作,在天线数相同的情况下,该方法相对于无小区间协作的情况小区容量可提升3到5倍。创新点三:针对大规模阵列天线占用空间大,优化方式不灵活的问题,开展了稀布阵的优化研究,提出了一种多目标联合优化的方法。该方法通过对天线方向图的多个特征值进行统一化表征,设计了多级差分遗传算法,实现了主瓣波束集中、旁瓣干扰抑制和阵面体积降低。通过仿真,在32阵元天线阵列优化中,相对于等间距阵列,可以实现阵列尺寸降低40%,主瓣宽度降低约50%,旁瓣抑制-20dB。创新点四:针对多径环境下自动调制方式识别准确率低的问题,提出了一种大规模阵列天线的自动调制方式识别技术。该技术使用正交波束赋形的空域滤波方法,降低了多径干扰,并结合最大似然比信号合并算法和基于贝叶斯判决模型的决策融合算法对不同波束获取的信号进行处理,实现了多径环境中自动调制方式识别准确率的大幅提升。通过仿真验证,该技术相对于传统多天线合并决策方法,在-20dB信噪比条件下可以达到不小于90%判决准确率。本文围绕大规模阵列天线无线通信系统和信号检测基础理论和应用,丰富了大规模阵列天线系统在多径环境中的理论认识,可提升应用水平,为未来无线通信系统的空域信号处理理论研究和应用研究提供更好的支撑。