Massive MIMO技术是5G通信的核心技术,具有频谱效率高、吞吐量大等优点,受到学术界和工业界的高度关注。预编码技术可以定向的发送信号并抑制数据流之间的干扰,因此在Massive MIMO系统得到广泛使用。全数字的预编码因为实现复杂度较高、硬件成本昂贵等问题,在Massive MIMO系统中无法进行使用,因此模拟和数字混合预编码技术成为了新的研究热点。本文对Massive MIMO系统的基本结构、信道模型和混合预编码技术进行了研究,主要工作和成果如下:1.研究了MU-MIMO系统的BD预编码和基于SLNR准则的预编码算法,由于BD算法中预编码向量要从用户干扰信道矩阵的零空间中获得,对天线数存在着约束条件,即发射天线数要大于所有用户接收天线数。基于SLNR准则的预编码在多用户系统中的公平性不佳,而且使用的等功率分配策略限制了性能的提高。为了解决这一问题,本文提出了一种基于SLNR的高效能联合预编码(EI-SLNR)方案。通过加权等效信道来提升用户的公平性,同时利用动态功率分配策略,进一步提升系统性能。计算机仿真表明,所提算法与BD预编码和基于SLNR准则预编码相比,在不增加计算复杂度的条件下,系统速率和误码率性能都得到了明显的改善,而且提高了多用户的公平性。2.在Massive MIMO系统的单用户混合预编码中,介绍了基于SVD分解和正交匹配追踪的混合预编码算法,其中基于SVD分解的混合预编码性能不理想,而基于正交匹配追踪的混合预编码复杂度较高。因此对于以上算法的不足,本章提出了一种基于优化分解的混合预编码算法,有效降低了算法的复杂度;而且通过仿真验证,所提算法的误码率性能和频谱效率都得到了有效提高。3.在Massive MIMO系统的多用户混合预编码中,研究了混合BD预编码算法。混合BD算法通过等增益的模拟移相器来设计射频预编码器,在基带域利用BD算法消除多用户干扰。但混合BD算法存在着天线数约束,且等增益的射频域设计使性能不理想。因此本章提出了一种新的基于SLNR的混合优化算法,其原理是通过射频的波束优化来增大阵列增益,提高用户的系统容量,在基带域用SLNR准则来抑制多用户干扰。本章所提的基于SLNR的混合优化算法与混合BD算法相比,没有天线数的约束条件。而且仿真表明,所提算法可以得到更好的误码率性能和频谱效率。