毫米波通信和Massive MIMO技术是第五代移动通信系统的关键技术,能够有效地提升系统的频谱效率和能量效率。在二者结合的毫米波Massive MIMO系统中,波束赋形技术是其重要环节。与传统MIMO系统相比,毫米波Massive MIMO系统中天线的数量将大幅度增加,导致原有的波束赋形算法的复杂度过高而难以实现。为此,本文围绕毫米波Massive MIMO中的波束赋形技术展开研究,主要研究内容和贡献如下。(1)为了提升毫米波Massive MIMO系统的频谱效率,针对数模混合结构,本章以模拟预编码矩阵中元素的相位作为变量来设计模拟预编码矩阵,提出了收发解耦的混合预编码算法。对于全连接结构,首先利用粒子群算法对模拟预编码矩阵中元素的相位进行逐列求解,并通过最小二乘方法设计数字预编码矩阵,然后迭代优化模拟预编码矩阵和数字预编码矩阵以提升算法的性能。对于部分连接结构,利用模拟预编码矩阵中每一列都有很多零元素的特点,将混合预编码的目标函数按块转化成一系列子优化问题,分别是最小化最优预编码矩阵的一个子矩阵和模拟预编码矩阵一个子矩阵与数字预编码的一行的乘积之间的欧氏距离,并利用粒子群算法和最小二乘方法进行迭代求解。通过分析得出,所提两种算法的复杂度均与经典算法的复杂度类似。仿真结果表明,在全连接结构下,所提算法的频谱效率优于对比算法,在部分连接结构中,所提算法的频谱效率接近理论上限。(2)为了避免天线维度的信道矩阵的SVD操作,降低混合预编码算法的复杂度,针对数模混合结构,提出了三种收发联合的混合预编码算法。通过引入等效信道的概念,利用低维等效信道矩阵的SVD操作联合设计收发端数字部分,并推导出收发端模拟部分的优化问题等价于最大化等效信道增益的问题,然后提出三种方案求解收发端的模拟部分。第一种方案利用连续干扰抵消的思想,将模拟部分的设计问题转化成逐列优化的问题,并采用坐标下降法进行逐元素求解,经过迭代完成模拟部分的设计。为了进一步降低复杂度,第二种方案以矩阵为优化单元,通过迭代执行SVD操作和相位提取完成模拟部分的设计。最后,为了减少系统的反馈量,提出了第三种基于码本的解决方案。该方案通过最大化等效信道增益的思路,一次性完成模拟部分的设计。仿真结果表明,所提算法能够以较低的复杂度实现与经典算法类似的频谱效率。(3)为了避免提前获取信道信息,进一步降低毫米波Massive MIMO系统的复杂度,针对模拟结构,研究了未知信道信息时,适用于视距(Line of Sight,LoS)场景和非视距(Non Line of Sight,NLoS)场景的快速波束搜索方案。首先,为了挖掘现有搜索方案的本质区别,引入了状态利用率,信息表达效率和反馈效率的概念对现有方案进行分析,得出搜索方案的状态利用率越高,其复杂度越低的结论。根据此结论,推导出利用格雷映射对每阶段子区间的编号进行编码,能够使状态利用率达到100%且搜索成功率最高。然后根据这个编码方案提出了基于波束重叠的多层波束搜索方案。通过分析得出,所提方案的状态利用率,信息表达效率和反馈效率均为100%,且搜索复杂度仅为二分搜索的50%。其次,为了使该方案具有普适性,还研究了 NLoS场景下的波束搜索方案。通过分析发现NLoS场景较LoS场景存在由多径带来误判的问题,并提出了适用于NLoS场景的波束搜索方案。