大规模 MIMO(massive Multiple-Input Multiple-Output,massive MIMO)作为未来第五代移动通信网络(5th Generation Mobile Networks,5G)关键候选技术之一,通过在基站部署极大数目的天线阵列来获得更高的空间自由度,在同一时频资源上服务多个用户,从而大幅提高频谱效率。但是,大规模MIMO的实际应用仍然存在一些问题亟待解决,比如时分双工(Time Division Duplex,TDD)制式下导频污染制约用户容量随基站天线数目不断增加而持续提升的瓶颈问题、高维信道矩阵导致频分双工(Frequency Division Duplex,FDD)制式下信道反馈开销过大的问题以及毫米波大规模MIMO混合预编码架构下的波束赋形多波束选择问题等。本论文主要针对上述三个问题展开研究。第一,针对TDD制式大规模MIMO的导频污染消除问题,提出一种基于空时联合导频分配的导频污染消除方案。空时联合导频分配方案在时间维度对小区分组,不同分组采用导频时隙错开的异步帧结构。在空间维度,以最小化用户贝叶斯信道估计的平均均方误差(Mean Square Error,MSE)为优化准则,调度相互之间干扰程度最低的用户分配同样的导频序列。基于随机矩阵理论,推导出采用空时联合导频分配方案的上、下行信干噪比(Signal to Interference plus Noise Ratio,SINR)渐近表达式。理论分析和仿真结果都表明,该方案可以从空间和时间两个维度联合消除导频污染。小区分组使得在同一导频时隙进行信道估计的小区和用户数目成倍减少,空间维度导频分配所需要的MSE计算次数和信道二阶统计信息的共享反馈开销均有大幅降低。第二,为了提升TDD制式大规模MIMO系统的用户性能公平性,提出一种基于空时联合智能导频分配的导频污染消除方案。该方案在时间维度采用异步帧结构。在空间维度,则建立最大化目标小区中用户最小上行SINR的优化问题,并通过对本地用户信道质量和所受到干扰的强度分别进行排序的方式完成空间维度导频分配。通过数学证明,基于排序的分配方案是上述优化问题的解,其用户搜索复杂度相比穷尽搜索的复杂度有大幅降低。仿真表明,基于空时联合智能导频分配的导频污染消除方案既提升了目标小区用户性能的公平性和用户最小上行SINR性能,又提升了目标小区的上行容量性能。第三,针对FDD制式大规模MIMO的信道反馈开销较大的问题,考虑单用户大规模MIMO空间相关信道场景,采用小波压缩方法挖掘空间相关冗余,降低反馈开销。本论文通过对现有的小波基进行先验试验的方法,发现“bior3.1”小波基对空间相关信道矩阵的压缩和重构MSE性能最好。因此,本论文提出基于“bior3.1”小波基在接收机对信道状态信息(Channel State Information,CSI)进行小波分解,把从低频到高频的小波系数截断后,反馈给发射机。在发射机,对缺失的小波系数补零后,进行小波重构,恢复出信道状态信息。仿真表明,基于“bior3.1”小波压缩算法的压缩、重构MSE性能和频谱效率性能均优于采用正交匹配追踪算法进行信道重构的压缩感知算法。第四,针对多用户毫米波大规模MIMO混合预编码架构下的波束赋形波束选择问题,考虑基站端工作的射频链路数目(NRF)在用户数目(K)和基站天线数目(NBS)之间(K≤NRF《NBS)的实际部署场景,以最大化所有用户总频谱效率为目标建立优化问题,提出一种基于有限反馈的用户波束和基站多波束联合选择算法。通过设计波束评估准则,每个用户对基站发送码本和用户接收码本的波束组合进行评估,并设计了高精度、低精度两种反馈模式FB1、FB2。仿真表明,本章所提方案利用了射频链路冗余,增加了等效信道维度,在适当的条件下,其频谱效率优于现有的混合预编码方案。