毫米波频段（30GHz-300GHz）具有丰富的频谱资源,可以极大提升系统容量,因此,毫米波通信被认为是第五代移动通信及未来通信技术的核心技术之一。混合预编码因为能够极大减少射频链路数目,有效减少毫米波通信系统的硬件开销和功率消耗,被认为是毫米波通信的关键技术之一。近年来,学界和业界对混合预编码技术进行了大量的研究,但是仍然存在计算复杂度高、反馈开销大、能量效率低、宽带传输速率受限、以及依赖难以获得的瞬时信道状态信息（Channel State Information,CSI）等问题。本文将针对以上问题,从单用户、多用户、窄带、宽带等多种通信场景,系统性地进行高性能混合预编码研究。主要的研究内容包括:针对混合预编码计算复杂度高的问题,利用毫米波信道路径的空间瓣分布特性,进行了低复杂度的混合预编码研究。根据纽约无线电团队的实际测量结果,将毫米波信道按照空间瓣重新划分为多个低秩子信道。基于子信道的相互近似正交性,将整个优化问题分解为多个子问题,有效降低了计算复杂度。对每个子问题,提出了基于正交匹配追踪（Orthogonal Matching Pursuit,OMP）的混合预编码设计方案。通过复杂度分析和仿真验证,可发现所提方案相比于传统的OMP方案复杂度可以降低99%,并同时可以保证近似最优的频谱效率。针对混合预编码设计反馈开销大的问题,提出了基于非均匀量化的混合预编码方案。充分利用毫米波信道在角度域的稀疏特性,提出非均匀量化策略将量化比特非均匀地分配到不同角度覆盖范围,其中将高量化比特集中到空间瓣覆盖的有效角度范围,低量化比特分配到其余范围。对全连接架构和子阵列混合预编码架构进行不同的天线映射,分别构造出基于非均匀量化的波束定向码本。基于提出的非均匀量化码本,设计了基于OMP的混合预编码方案。仿真结果验证了所提混合预编码方案在降低反馈开销方面的有效性。针对混合预编码设计能量效率低的问题,提出了新型广义子阵列混合预编码架构,实现最优传输能量效率的混合预编码设计。打破了传统全连接架构和子阵列架构的固定射频-天线连接模式,提出了可以实现任意射频-天线配置的广义子阵列架构。对于任意给定的一种配置,提出了基于连续干扰消除的混合预编码设计方案,得到近似最优的频谱效率。进一步提出有限复杂度的搜索方案确定具有最高能量效率的射频-天线配置。仿真结果验证了所提混合预编码方案可以在任意给定射频和天线数目下实现最优的能量效率。针对波束斜视导致宽带传输速率受限的问题,提出了基于信道空间相关性混合预编码方案。通过极坐标图,信道子空间平均弦距和平均可达速率差距,全面分析了波束斜视对混合预编码性能的影响。当完美CSI已知时,提出了基于平均信道矩阵、平均信道协方差矩阵和广义子空间外平均的混合预编码方案。当仅知道角度信息时,提出了基于多组移相器的低复杂度宽波束方案。仿真结果验证了所提混合预编码方案在抑制波束斜视方面的有效性,在带宽达到0.5 GHz时,所提方案依然能够得到近似最优的宽带传输速率。针对混合预编码设计依赖难以获得的瞬时CSI的问题,提出了仅基于统计CSI的宽带多用户混合预编码方案。根据毫米波信道稀疏性和参数分布,推导出统计信道协方差矩阵。模拟预编码阶段,同时考虑完美反馈和有限反馈,提出基于奇异值分解和相位提取的构造方案。考虑宽带场景下的波束斜视效应,进一步对模拟预编码矩阵进行相位补偿。数字预编码阶段,通过块对角化消除多用户干扰,并通过将能量集中到有效传输子空间提升可达和速率。仿真结果表明所提方案可以通过适当增加射频数目实现和基于瞬时CSI的全数字预编码方案相近的性能。本论文针对毫米波通信系统中混合预编码技术面临的计算复杂度高、反馈开销大、能量效率低、宽带传输速率受限、以及依赖于难以获得的瞬时CSI几大问题,分别提出了有效的解决方案,为推动毫米波混合预编码的发展和应用提供了理论支撑。