随着便携式终端的不断普及和互联网的广泛应用,通信用户数和业务流量正呈爆炸式增长,如何提高通信系统的频谱效率和能量效率满足各种业务的需求成为无线通信面临的严峻挑战。由于能够利用空间自由度来提高频谱资源的复用增益和分集增益,从而显著提升频谱效率和系统容量,以大规模多输入多输出(Multiple-Input Multiple-Output)结构进行信号发送和接收成为应对该挑战的有效途径。大规模MIMO系统拥有众多天线,因此导致信道维度很大。天线中很多天线之间存在相关性,同时使用这些天线进行信号的收发并不能增加系统容量。因此,在不影响大规模MIMO通信系统容量的前提下,如何合理选择系统的收发天线既能有效降低系统的硬件成本又能减少系统的功率消耗,对实现绿色宽带无线通信起着极其重要的推动作用。于是,本文对大规模MIMO系统中的天线选择问题展开研究。主要完成以下工作:(1)提出一种低复杂度天线选择算法,该算法通过对大规模MIMO通信系统信道矩阵的奇异值分解,获得信号传输的主要路径。通过仿真证明,提出的低复杂度天线选择算法在不同规模天线系统中的信道容量都优于递减法和范数法,比贪婪算法略差。随着选择天线数增多复杂度稳定不变并远低于递减法与贪婪算法。(2)天线选择需要准确的信道状态信息,在只有部分信道状态信息的情况下使用卡尔曼滤波对信道进行估计与预测,提出一种基于卡尔曼滤波的天线选择算法。仿真结果表明,当信道变化慢时使用卡尔曼滤波估计出的信道更接近实际信道;信道变化快时,使用预测出的信道代替原信道拥有更好的实时性。(3)结合混合预编码的高性能和天线选择的低成本与节能,在最大化频谱效率的条件下提出一种结合混合预编码的天线选择算法。首先通过固定混合预编码为最优无约束预编码使用天线选择算法得到天线选择矩阵,再将选择出来的天线对应的子信道作为新的信道反解出混合预编码。仿真结果表明,在同一天线系统下,使用本文提出的结合混合预编码的天线选择算法性能要优于同天线选择算法联合SOMP混合预编码。并且在同一信噪比下只需要使用四分之一的天线就可以获得80%的频谱效率。(4)搭建仿真平台对所提出的算法进行验证,把本文所提出的算法与相关的算法进行对比,并将结果进行分析,对所出现的特殊情况进行探讨与解释。