随着第五代移动通信网络的发展,大规模多输入多输出（Massive MultipleInput Multiple-Output,Massive MIMO）技术和毫米波技术被人们广泛认可。信道蕴含了信号传输过程中的状态信息,但在传输过程中会受到噪声和干扰的影响,信道估计技术的准确性关系到信号在接收端恢复的准确性,所以信道估计技术的研究具有重要意义。本文研究了毫米波大规模MIMO系统中信道估计算法。通过对深度学习和信道估计算法的研究,深入了解不同神经网络的特性,利用其特性和信道估计算法进行结合,获得更好的信道估计算法。本文提出基于生成对抗-卷积盲去噪（GAN-CNN Blind Denoising,GCBD）神经网络的信道估计算法。通过生成对抗神经网络来拓展噪声的未知性,再通过卷积去噪神经网络进行去噪,提高信道估计的性能。通过分析和仿真提出的基于GCBD的信道估计算法可以提高信道估计性能,并可以应对不同的混合噪声。本文提出的全连接卷积去噪近似消息传递（Fully Convolutional Denoising Approximate Message Passing,FCDAMP）信道估计算法创新性地将全连接卷积去噪神经网络与基于学习的近似消息传递算法相结合。将信道噪声水平估计图和包含噪声的接收信号连接并输入到去噪子网中,实现高效的去噪,从而获得更高的信道估计精度。在快时变信道系统中,通过正交时频空间调制技术得到三维结构的时延多普勒角度信道,本文提出了三维压缩采样匹配追踪（3-Dimensional Compressive Sampling Matching Pursuit,3D-Co Sa MP）信道估计算法。通过压缩感知技术分别对时延维度、多普勒维度和角度维度进行恢复,获得准确的信道估计值。并在不同的信噪比,用户速度,基站天线数量和导频开销率方面对算法进行验证。