在大规模多输入输出(Massive Multiple-Input Multiple-Output)系统中,下行链路预编码可以有效的消除用户间干扰和信道噪声,从而提高系统的通信性能。传统的基于优化预编码算法收敛速度较慢,计算复杂度高。无法满足第五代(5G)及以上系统实时应用的需求,如自动驾驶车辆和关键任务通信等。即使在以毫秒为单位变化的小范围衰落非实时应用程序中,迭代过程引入的延迟也会使波束赋形解决方案难以满足通信需求。另外Massive MIMO系统进行预编码需要基站(BS)端提前得知下行信道状态信息(CSI),在FDD系统中,上下行信道采用不同的频点,信道不具有互易性,传统的下行信道估计方法需要消耗大量通信资源。近年来深度学习(DL)技术因在无线通信领域内的研究成为了一个研究热点,在信道检测、信道估计、CSI反馈与重建、信道解码、甚至端到端无线通信系统方面都取得了很大的进展,给当下传统方法解决通信问题所面临的困境提供了一个新的思路。本论文主要研究FDD Massive MIMO系统中两个非常重要的问题,下行链路预编码和下行信道估计。主要工作如下:(1)针对传统线性预编码方案中需要高维矩阵求逆问题,通过数学分析,在经典的WMMSE算法的基础上提出了低复杂度的R-WMMSE算法,使其涉及的矩阵求逆的计算复杂度与发射端天线数目无关,可以降低其在迭代过程中的计算消耗。(2)设计了低复杂度的预编码学习模型来。尝试了监督学习、无监督学习、监督学习和无监督学习结合等多种学习策略,采用了包括MLP、CNN在内的多种神经网络模型,同时还考虑不同用户权值下的学习模型设计。针对预编码矩阵在发送端天线数量庞大的情况下是极其高维的情况,本文重新设计的网络的输入输出,使得神经网络的输入与发射端天线数目无关,大大降低了模型的训练难度。实验结果显示本文的学习方案在比较简单的网络模型下,也可以取得非常好的逼近精度。(3)设计了基于深度学习的FDD Massive MIMO系统下行信道估计模型。基于FDD上下行链路的散射体和大尺度传播环境足够相似的特性,神经网络能够了解相邻两个频段之间的物理连接和约束。本文使用MLP和CNN网络进行下行信道估计,离线训练CSI重构网络,并将训练好的模型进行在线部署,仿真结果显示,本文的信道估计模型取得了比较好的估计效果。