为了应对快速增长的用户数量以及迅速发展的物联网、人工智能等技术对无线通信系统的传输速率、容量、时延等提出的挑战,第五代移动通信系统（5G）中采用了毫米波大规模MIMO技术以丰富频段资源、提升频谱利用率、增大系统容量。为了充分利用毫米波大规模MIMO系统带来的增益,收发两端需要快速准确地获取信道状态信息。然而天线规模的增大以及混合预编码技术的使用都为信道估计带来了挑战。因此,本文将针对毫米波大规模MIMO系统的信道估计问题进行研究。首先,对毫米波大规模MIMO系统信道估计的研究背景和研究现状进行了阐述,探究了当前算法的改进方向。并对所涉及到的毫米波通信系统的信道特性、压缩感知理论、神经网络理论等背景知识进行了介绍,为后续信道估计算法的研究奠定基础。其次,本文基于大规模MIMO信道在角度域的稀疏性建立了系统传输模型及参数化信道模型。在该模型下研究了传统信道估计算法——LS算法和MMSE算法以及基于压缩感知的OMP信道估计算法的实现,并通过仿真证明了基于压缩感知的信道估计算法更适用于毫米波大规模MIMO系统。接着,提出了基于l1/2正则化的毫米波大规模MIMO信道估计算法。该算法首先构造了一个由l1/2正则项和误差约束项的加权和组成的目标函数,然后经由梯度下降法迭代优化目标函数中的参数,最终可实现超分辨率信道估计。同时引入了删减操作以降低计算复杂度。仿真结果表明,该算法比起现有的算法可以获得更小的信道估计误差,具有更好的抗噪声性能。最后,提出了基于CAMP-Net的毫米波大规模MIMO信道估计。考虑到深度学习所具有的自学习性、自适应性等优点,本文将传统的近似消息传递算法的迭代过程展开为复值深度网络结构CAMP-Net,并采用了分段线性化收缩函数以优化拟合结果。仿真实验中对网络进行了训练及应用,结果表明其在估计精度和效率上均优于基于压缩感知的信道估计算法。