多输入多输出（Multiple-Input Multiple-Output,MIMO）系统通过在发射端和接收端分别部署多个天线阵列,可以显著地提升信道容量和传输速率,被认为是未来无线通信的关键使能技术之一。然而,在MIMO系统中,随着基站端天线数目的增加,导致产生大量的未知信道参数和巨大的导频开销,使得无线信道估计成为一项极具挑战性的难题。因此,研究MIMO系统的信道估计技术,对未来无线通信技术的发展具有十分重要的意义。在无线通信系统中,无线多径信道通常为稀疏信道,传统的信道估计算法没有利用信道的稀疏性。基于压缩感知（Compressed Sensing,CS）的信道估计方法通过充分利用信道的稀疏特性,可以使用很少的导频序列获得更好的信道估计性能。本文针对复杂环境下MIMO-OFDM（Multi-Input Multi-Output Orthogonal Frequency Division Multiplexing）和大规模MIMO系统,提出了一系列基于压缩感知的稀疏信道估计方法。本文的主要研究内容如下:（1）提出了一种基于压缩感知的MIMO-OFDM系统改进的稀疏信道估计算法。针对MIMO-OFDM系统无线信道模型,考虑到现有的基于稀疏度自适应匹配追踪信道估计算法在低信噪比下存在着重构性能不稳定的问题,本文提出了一种新的自适应匹配追踪（New Adaptive Matching Pursuit,NAMP）稀疏信道估计算法。该方法在不需要信道稀疏度先验知识的情况下,通过固定步长的方式,对迭代过程中的支撑集原子进行选取,提高算法的收敛效率。此外,该方法采用奇异熵定阶的机制来防止引入不相关的原子,提高算法的收敛精度。实验结果表明,该方法的计算复杂度较小和具有更稳定的性能。（2）提出了一种基于压缩感知的TDD大规模MIMO系统改进的稀疏信道估计算法。针对时分双工（Time Division Duplex,TDD）大规模MIMO系统上行链路模型,本文探讨了导频污染问题,提出了一种有效的半正交导频设计方案。此外,考虑到现有算法在重构过程中存在着对稀疏信道抽头能量不够敏感以及重构精度不高的缺点,本文提出了一种优化的自适应匹配追踪（Optimized Adaptive Matching Pursuit,OAMP）算法。该方法采用基于能量熵的排序方法对支撑集原子进行筛选,提高算法的估计性能。然后,该方法利用分段自适应变步长的方法,提高算法的泛化能力。理论分析和仿真结果表明,本文提出的OAMP算法进一步减少了导频污染,且以较小的时间复杂度为代价提高了信道估计的精度,其综合性能优于其它信道估计算法。（3）提出了一种基于结构化压缩感知的FDD大规模MIMO系统改进的稀疏信道估计算法。针对频分双工（Frequency Division Duplex,FDD）大规模MIMO系统下行链路模型难以确定信道稀疏度和重构算法阈值参数的问题,本文提出了一种基于结构化压缩感知的时频分块稀疏信道估计方法,即广义分块自适应匹配追踪（Generalized Block Adaptive Matching Pursuit,g BAMP）算法。首先,该算法利用大规模MIMO系统的时频联合分块稀疏性,实现对索引集的优化选取,从而提高算法的稳定性。然后,该算法在没有阈值参数的情况下,利用残差的F范数确定算法自适应迭代的停止条件,证明了该算法的有效性。仿真结果表明,本文提出的g BAMP算法能够快速、准确地估计出FDD大规模MIMO系统信道的状态信息,且性能优于同类算法。（4）提出了一种基于深度学习的压缩感知FDD大规模MIMO系统稀疏信道估计算法。在FDD大规模MIMO系统中,随着无线信道矩阵规模的增大,该迭代优化的密集计算和不能保证解全局最优的缺点已成为压缩感知在信道估计应用中的瓶颈。为了解决这个问题,本文提出了一种新型的基于深度学习的压缩感知稀疏信道估计方法,即卷积重构网络（Convolutional Compressive Sensing Network,Con CSNet）。在不需要信道稀疏度的情况下,本文通过Con CSNet算法求解由接收信号得到信道状态信息的逆变换过程,从而解决压缩感知框架下的欠定最优化问题,实现对原始稀疏信道的重构。实验结果表明,与基于传统贪婪算法的压缩感知信道估计方法相比,本文提出的Con CSNet算法的精度更高,且运算速度更快。