近年来,大规模MIMO以其较高的频谱效率和能量效率等优势,逐渐成为下一代通信中的关键技术之一。为了实现大规模MIMO系统的优势,信道状态信息的获取变得十分重要,同时由于硬件的非理想特性,相位噪声在大规模MIMO系统中的影响也不容忽视。因此,本论文主要解决大规模MIMO系统中的信道估计和相位噪声抑制问题。针对大规模MIMO系统中的信道估计问题,本文主要考虑大规模MIMO信道的非平稳特性,即信道的稀疏图案随着基站天线阵列而变化。由于物理环境中的散射体数量十分有限,大规模MIMO信道往往表现出延迟域的稀疏特性,同时由于基站端相邻天线的距离很近,不同的信道矢量往往拥有相似的稀疏图案。对于信道的这种特性,本文设计了一种狄里赫雷-高斯混合先验模型,既考虑信道的共有稀疏特性,又考虑信道的私有稀疏特性。在变分贝叶斯推断的框架下,信道矢量可以被自适应地进行分组,每组内具有相似的稀疏特性(即相同的共有稀疏特性),利用这些共有的稀疏特性可以显著提高信道估计的性能。针对大规模MIMO系统中的相位噪声抑制问题,本文利用相位噪声矢量的统计特性,对相位噪声矢量的协方差矩阵进行特征值分解,利用一定的近似关系可以大大降低待估计变量的个数。本问题主要考虑通信过程的两个阶段,即信道估计阶段和数据传输阶段。在信道估计阶段,对信道矢量赋予高斯先验分布来控制信道的稀疏特性,在变分贝叶斯推断的框架下,以迭代的方式计算出信道矢量和相位噪声的后验概率分布,并把信道矢量后验分布的均值作为信道的估计值。在数据传输阶段,同样在变分贝叶斯推断的框架下,以迭代的方式计算出数据符号和相位噪声的后验概率分布,并把数据符号后验分布的均值作为估计值进行数据解调。为了验证本文所提出的信道估计和相位噪声抑制算法的有效性,本文对系统的均方误差和误比特率性能进行了大量的仿真。仿真结果显示,本文所提出的算法具有良好的性能,并且显著地优于其他已有的算法。