近年来大规模MIMO技术成为移动通信发展的焦点,更是未来第五代移动通信的一项关键技术。与传统的MIMO技术相比,大规模MIMO系统基站端配置数量巨大的低功率天线,天线数远超过同时调度的用户天线的数量,能够获得频谱利用率和能量效率的提升。应5G通信发展需求,大规模MIMO系统信道建模也需从2D空间扩展到3D空间,考虑到大规模MIMO天线数目庞大,如果单极化天线以半波长天线间距按照均匀线性阵列排列,势必会占用很大的空间,双极化天线可以在保证系统和速率的同时,占用更小的空间面积,更具有应用前景。论文研究3D双极化信道下大规模MIMO系统传输,通过波束域信道转换,将物理信道转换到波束域,实现多用户在空间波束域的无干扰传输。此外,对于采用DFT矩阵作为波束域信道转换矩阵时,波束域信道能量存在旁瓣泄漏的问题,提出了两种大规模MIMO系统波束域波束泄漏抑制的方案。首先分析了大规模MIMO传输技术的基础。从大规模MIMO系统信道容量入手,分析了从单用户MIMO到大规模MIMO的信道容量,以及多用户MIMO到大规模MIMO的信道容量变化,接着介绍了3D MIMO信道建模模型,包括非物理信道模型和物理信道模型,重点研究双极化天线下的3D MIMO信道模型,同时概述了MIMO系统的波束成形技术,重点侧重于DFT波束成形技术。接着研究基于3D双极化信道的大规模MIMO系统传输。针对下行传输链路,基站布置双极化天线,用户布置单极化天线的场景,进行波束域信道转换矩阵设计,保证基站端波束域信道相互正交。在基站获取上行统计信道信息后,以最大的系统和速率为准则,根据贪婪算法对小区中的用户进行调度,确定采用相同时频资源与基站进行通信的用户以及各用户与基站通信采用的波束,实现被调度用户采用互不重叠的波束与基站进行通信,保证用户之间无干扰传输。仿真结果表明：双极化天线在保证系统和速率的同时可以有效地减小占用空间。最后,提出大规模MIMO波束域信道波束泄漏抑制方案。分析了采用DFT波束域信道转换时波束域信道能量不够集中的问题。在此基础上,提出了两种波束域波束泄漏抑制的方法,分别为对角矩阵整形和匹配滤波整形。对角矩阵整形利用有限径信道模型的建模方法,以信道能量最大信干比为准则,设计整形向量,该方法简单易行。匹配滤波整形是根据实时统计信道矩阵,以信道能量最大信干比为准则,设计匹配整形矩阵,保证波束域信道能量集中在特定的波束上,该方法需要获取信道信息,整形效果较好。仿真结果表明：两种方法对波束域信道能量分布均有改善,匹配滤波整形方法效果更加明显。