大规模多入多出(Multiple-Input Multiple-Output,MIMO)技术,通过在基站侧部署大量的天线阵元,能显著提升无线通信系统的频谱效率和能量效率,是第五代移动通信的关键技术之一。但是,基站天线数目的增多,一方面导致信道矩阵的维度大幅增加,使得未知的信道系数数量和信道估计的计算复杂度显著增加;另一方面,由于大规模MIMO系统需要发送导频信息对无线信道进行探测,信道状态信息(Channel State Information,CSI)获取过程中所需的导频开销和反馈开销急剧增加,而这也逐渐成为大规模MIMO系统频谱效率等性能提升的瓶颈。为充分利用大规模MIMO技术提供的巨大分集增益和复用增益并实现通信系统有效的信息传输,对CSI进行准确且及时地估计显得尤为重要。幸运地是,随着无线通信系统向多天线、高频段、大带宽方向发展,信号传输过程中经历有限数目的散射体和多径会导致信道的有效维度低于其原始维度,大规模MIMO系统中存在的固有信道稀疏特性为解决上述问题提供了新的思路。压缩感知理论作为处理稀疏信号的有效工具,能够从低维观测中高效地恢复出原始的高维稀疏信号,为大规模MIMO系统稀疏信道估计提供了坚实的理论基础。本文主要研究基于压缩感知的信道估计方法,充分挖掘大规模MIMO信道的稀疏性,以实现提高信道估计算法的鲁棒性、降低信道估计的资源开销、提高信道估计精度等目标。本文面向大规模MIMO系统,将基于压缩感知理论的信道估计技术作为研究核心,针对信道在时域发生稀疏度不匹配时信道估计算法性能下降、频分双工系统中由于信道矩阵维度大造成导频开销和信道反馈开销急剧增加、广义混合模拟/数字结构的大规模MIMO系统中信道估计精度低且复杂度高等亟待解决的问题,从以下四个方面展开研究:第一,针对大规模MIMO信道发生稀疏度不匹配时信道估计性能下降的问题,提出一种基于块稀疏性的贝叶斯匹配追踪信道估计算法。该算法利用大规模MIMO信道的空间共同稀疏性,通过置换矩阵将高维信道冲激响应转化为具有块稀疏特性的信道向量,将信道冲激响应路径时延的先验分布建模为具有块稀疏特性的伯努利分布,以最小均方误差估计为准则对具有块稀疏性的信道向量进行估计。与传统压缩感知信道估计算法根据残差冗余和测量矩阵之间的相关值得到支撑集的方法不同,本文定义块二元向量及其度量选择参数,该算法可在单次迭代过程中仅更新单个块向量,利用最大后验准则得到的后验概率确定最终的信道支撑集,从而避免信道稀疏度不匹配时信道估计性能下降。第二,针对下行大规模MIMO信道估计导频消耗大的问题,提出一种基于先验信息的混合导频设计和混合信道估计算法。导频设计应用了正交导频和随机导频的混合结构,充分挖掘了信道在角度域支撑集变化缓慢的特性,使得当前帧所探测的信道自适应地分解为稠密分量和稀疏分量。进一步联合多个子载波接收的导频信息,提出了结合最小二乘法和分布式压缩感知理论的信道估计算法完成对信道两个分量的估计。与传统基于最小二乘法和压缩感知理论的信道估计算法相比,该算法能依据信道先验信息改变信道探测所需的导频数量,从而在一定程度上降低大规模MIMO系统所消耗的导频资源。第三,针对频分双工大规模MIMO系统反馈开销过大的问题,提出一种基于先验支撑集的复二进制迭代硬阈值算法。由于用户仅反馈信道测量值每维度的符号信息,该算法利用此1-比特量化信息在基站端通过对1-比特稀疏信号恢复问题进行求解以完成对发射端CSI的估计,将1-比特压缩感知理论与信道反馈技术结合,使基站和用户可避免高复杂度的码本搜索过程。所提算法引入权重向量,将前一帧信道支撑集为当前帧信道估计的先验信息,对先验支撑集对应的元素不进行加权,而对支撑集补集对应的元素施加较小的加权,能结合并发挥传统1-比特压缩感知理论和权重l1范数最小化估计的优势。第四,针对广义混合模拟/数字结构的大规模MIMO系统信道估计精度低、复杂度高的问题,提出一种基于Bussgang分解的正交匹配追踪信道估计算法。该算法一方面利用信道的角度域稀疏性,克服了由于射频链路数目少导致接收端不能得到完整信道观测所造成的困难,另一方面基于Bussgang分解理论将非线性的信道估计问题重新转化为线性的稀疏信号恢复问题,显著降低了1-比特和2-比特分辨率模数转换器引入的量化噪声对信道估计精度的影响。所提算法在迭代停止并得到信道支撑集时,残差向量能量的期望与线性模型的等效噪声方差相等,复杂度与角度网格、信道时延抽头数量均呈线性增长关系,与帧数量、导频符号数量和RF链数量呈平方增长关系。