三维多输入多输出(3 Dimensional Multiple Input Multiple Output,3D MIMO)技术充分利用了水平和垂直维的天线自由度,可以更好地抑制系统中的干扰并有效提升系统容量,已经成为了5G移动通信的核心技术。为了进一步提高3D MIMO系统和速率并减小系统中的干扰,本文研究了3D MIMO系统的干扰抑制技术,主要研究了3D MIMO系统预编码方案,具体研究工作如下:第一,本文针对仅具备统计信道状态信息(Channel State Information,CSI)的3D MIMO蜂窝系统下行链路中的干扰抑制问题,提出了基于用户分组的多层预编码方案。基于平均信漏噪比的下限并考虑到被调度用户的公平性,提出了一种仅利用统计CSI的用户分组算法,并将该用户分组算法应用于多层预编码框架设计。所提出的方案仅使用用户的统计CSI,大大降低了基站(Base Station,BS)所需的CSI。仿真结果表明,该方案具有良好的公平性与较高的和速率。第二,本文针对分别具有统计CSI和瞬时CSI的用户,研究了两类用户在3D MIMO系统中的下行链路传输模式,解决了混合利用统计和瞬时CSI的下行预编码的设计问题。利用3D MIMO信道的克罗内克积的性质,提出了扩展的迫零预编码方法,用于最小化BS的总发射功率。仿真结果表明,该方案具有更低的复杂度和良好的速率。