随着未来移动通信需求的发展、高速率通信场景的增加,以及低频段资源的短缺,毫米波通信技术,由于其具有更多的频谱资源,更大通信带宽,并且能够有效的利用空间域的资源,越来越受到学术界和工业界的重视。因此,毫米波通信技术也成为了5G通信的重要技术之一。本论文从毫米波通信中实际存在的问题出发,首先研究了毫米波通信的信道特性、通过实际测量和大量经典文献的整理,基于前期研究的毫米波信道特性成果,使用不同的毫米波大规模多入多出（Multiple Input Multiple Output,MIMO）收发信机结构,利用毫米波MIMO信道在空间体现的稀疏性,针对毫米波大规模MIMO中可能存在的三个核心问题:天线孔径、高机动性、宽带性,研究了实际应用场景中存在的宽带信道估计问题,移动态信道估计问题,以及波束对准问题等。全文的工作以及创新主要包括以下几个方面:首先,整理总结现有文献中关于毫米波信道特性的研究,并且在毫米波室外传室内（Outdoor to Indoor,O2I）场景进行了信道测量,并分析结果。然后,结合毫米波MIMO信道在空间体现的稀疏性,研究了波束域的概念,讨论毫米波信道稀疏化过程中的格点失配问题,研究了格点失配问题的本质,仿真相应的波束空间图展示,同时针对本论文使用的三个核心数学工具压缩感知（Compressive Sensing,CS）技术,张量分解技术,以及稀疏编码技术进行了阐述。其次,基于毫米波大规模MIMO的基础架构,重点研究了毫米波宽带信道的空间参数以及时延参数提取问题,进一步研究了存在空间-宽带效应下的波束倾斜问题。一方面,针对传统的毫米波宽带信道模型,提出一种基于维度叠加的信道估计方法,仿真表明,所提算法能够有效的估计宽带信道同时避免了格点失配现象的发生。另一方面,针对毫米波通信带宽足够宽,天线孔径足够大的情况,研究了新的信道模型,仿真分析了具体的现象和规律,然后基于无格点的联合参数提取算法提出了一种低复杂度的毫米波空间宽带信道估计算法,提升了系统的估计效率和降低了复杂度。并且,针对未来车联网,高速移动穿戴,高铁等移动场景下的毫米波时变信道估计问题,提出了相应的信道估计算法。首先,分析毫米波时变信道与低频段时变信道的区别,基于毫米波信道测量结果确定时变信道模型。其次,充分利用毫米波时变信道的时间维度信息,提出了基于张量分解的毫米波时变信道估计方法。最后,研究毫米波时变信道存在的块稀疏和低秩特性,联合块正交匹配算法（Block Orthogonal Matching Pursuit,BOMP）和平行因子分解（ANDECOMP/PARAFAC,CP）方法,提出一种联合估计算法,同时,基于这种三维结构,推导了时变信道的所有参数的理论界限,也就是通常所用的克拉美罗下限（Cramer-Rao Lower Bound,CRLB）,仿真结果表明其所提出算法创新点在于同时优于传统基于压缩感知和张量分解的方法,同时固定角度信息条件下逼近理论下限。为了研究宽带时变信道下毫米波通信的性能,仿真研究了最新的正交空时频（Orthogonal Time Frequency Space,OTFS）在毫米波频段的性能,并且分析了毫米波MIMO-OTFS系统可能的信道估计方案。最后,研究毫米波通信中的波束对准问题。首先,建立了分层的稀疏编码矩阵的模型,推导基于消息传递算法（Message Passing,MP）基本模型的peeling off算法的成功概率,将其应用到毫米波多用户上行场景中获得了一定的性能提升。然后,基于稀疏编码解码的波束对准框架,提出了时变信道下毫米波波束对准算法,其能够单独提取最大径的多普勒频移参数,相对基于压缩感知时变信道估计算法,降低了复杂度,同时具有很强的鲁棒性。