近年来随着移动用户和新兴的场景急剧增加,Massive MIMO技术的高频谱利用率和能量效率、高系统容量、高分辨率以及简单的收发器设计等优势已经得到了学术界和工业界的普遍认可,使得Massive MIMO技术成为5G的关键技术之一。然而,由于系统的频谱资源开销、计算资源开销等限制,以及导频污染等问题,使得Massive MIMO系统的实现和部署依旧存在着一定的挑战。此外,准确的基站和用户之间的信道状态信息是无线通信系统的最基本的保证,因此,信道估计技术是值得研究的问题。本论文研究了3D MIMO系统的信道估计和嵌套阵列Massive MIMO系统的信道估计问题。具体地,本文的主要研究内容和贡献如下:首先本文研究了多用户3D MIMO系统中的信道估计问题,系统基站配置均匀平面阵列,提出了一种利用成对空间特征的低复杂度3D MIMO系统的信道估计算法。本方法利用天线阵列理论和阵列信号处理知识,首先基于波达方向与阵列天线的x轴和y轴的夹角进行3D信道建模,将3D MIMO信道分别投影到x轴和y轴上,然后利用有限的训练序列对多用户上行链路进行信道估计,这个过程分为两个阶段,第一个阶段是上行前导阶段,这个阶段给每个用户分配正交导频,通过同一个导频序列获得每个用户成对的空间特征和最优旋转角度,并且提出一种基于3D-ADMA的用户分组策略,保证用户的空间特征不重叠;第二个阶段是在前导阶段之后的每个相干时间里组内分配同一条导频序列而组间分配正交导频序列,通过前导阶段获得的成对的用户空间特征和最优旋转角度恢复出用户的x轴和y轴的信道信息,利用获得的信道信息动态更新用户的空间特征和最优旋转角度。最后通过更新的用户空间特征和最优旋转角度估计出到达角重构出x轴和y轴的信道分量,通过Kronecker积生成3D MIMO信道。与利用低秩模型的传统均匀平面阵列下的3D MIMO系统的信道估计方法相比在不降低估计性能的前提下本文所提的方法大大的降低了计算复杂度,并且本文提出的信道估计方法是在有限的训练资源的情况下进行的,通过3D-ADMA分组以及两个阶段的导频分配大大减少了导频资源开销。数值仿真验证的该方法的有效性。然后探索了多用户嵌套阵列massive MIMO系统的信道估计问题。在嵌套阵列massive MIMO系统中由于嵌套阵列的结构是不规整的非均匀阵列,无法使用一些常用的处理方法进行信号处理,因此,本文设计了一种虚拟转换矩阵可以将嵌套阵列信道转换为等效的虚拟均匀阵列信道,又由于多用户导频序列复用,信号传输时,会受到组内其它用户的干扰,为消除干扰,本文提出一种基于连续干扰消除的信道估计算法。首先,在前导阶段用户分配正交导频序列,通过LS估计算法获得每个用户的信道估计值,从中提取出每个用户的虚拟转换矩阵、空间特征和最优旋转角度。然后,根据空间特征进行分组,组间分配正交导频,组内分配同一个导频序列。组间传输阶段,基于SIC的干扰消除算法消除由虚拟转换而带来的干扰。最后,获得每个用户的信道估计值。数值计算结果验证了该方法的有效性。