随着移动互联网和移动终端的迅猛发展,移动数据业务的需求推动着通信技术的更新换代。多天线技术,作为提高频谱效率和系统吞吐率的关键技术,成为无线通信领域最活跃的部分。当前,MIMO技术的的研究热点正从传统MIMO转移到毫米波MIMO,从二维MIMO转移到三维MIMO,从小规模MIMO天线转移到大规模MMO。毫米波MIMO系统可以充分挖掘系统的自由度,提高系统的频谱利用率。本文将面向毫米波MIMO,探索毫米波MIMO通信系统中混合波束成形关键技术。本文的主要工作点如下：首先,本文研究了数字预编码技术、模拟预编码技术和基于毫米波稀疏特性的混合预编码技术。以IEEE 802.1ad为例,分析了阵列天线基于码本的波束训练机制。详细阐述共享型混合系统的预编码矩阵的设计准则和设计算法。通过MATLAB仿真验证了混合预编码系统可以获得接近于数字预编码系统的性能。然后,本文研究了基于有限反馈的3D MIMO码本设计。基于平面大规模天线阵列,本文提出了一种考虑大尺度衰落且具有δdB衰落波束覆盖区域的3D-MIMO的直积码本设计方法。该方法从基站覆盖的边缘开始,逐次计算每个码字,直到满足基站的覆盖要求。随后,对比传统的DFT码本,分析了所提码本的特性。MATLAB仿真表明所提的垂直码本能够更好的匹配信道,提高了系统的频谱效率。再次,本文重点研究了混合波束成形的波束训练技术。结合毫米波系统的稀疏特性,基于匹配的天线阵列对的信道增益远远高于未匹配的天线阵列对,提出了一种低复杂度的波束搜索算法。相对于现有的穷举搜索算法和逐对搜索算法,所提算法具有更低的复杂度。仿真结果表明所提算法性能上稍低于最优的波束穷举,优于逐对搜索算法。考虑到穷举波束搜索算法巨大的运算开销,所提算法更加容易实现。最后,本文研究了混合波束成形的等效信道反馈技术。基于高速脉动阵列和Givens旋转,提出了一种基向量矩阵压缩方案。该方案流水化处理数据,并且扩展性强。MATLAB定点仿真结果表明,该算法具有较好的稳定性。通过毫米波无线局域网IEEE 802.11aj(45 GHz)的仿真平台上进行链路级仿真,比较不同量化方式对系统性能的影响。