MIMO能够将多径传播转变成对通信系统有利的因素,有效的提高通信系统的信道容量和频谱效率。尽管MIMO系统有着较大的容量优势与改善链路质量的潜力,但是MIMO系统实现的复杂度和射频链路成本高。天线选择技术是用较少的射频链路来匹配较多的天线,在通信系统性能损失很少的情况下可以有效的降低系统的复杂度和硬件成本。为此,本硕士论文将对MIMO系统中的天线选择技术进行研究。本文的主要研究工作包括如下:1研究了MIMO系统的模型和信道容量,主要研究了MIMO系统的遍历容量和中断容量。通过对MIMO系统的中断容量的研究,引出了分集增益和复用增益的平衡关系。研究了经典天线选择算法:基于最优的收发联合天线选择算法、基于矩阵范数最大的收发联合天线选择算法、基于递增的收发联合天线选择算法,并分析了这三种经典算法对MIMO系统信道容量的影响,也指出了这三种算法各自不足之处。2对递减收发联合天线选择算法进行研究,通过对MIMO系统的信道容量进行分析和推导,得到了删除一对发射与接收天线时信道容量减少量的表达式,提出了一种适合于被选天线数目与总天线数目相差(NR-Lr或NT-Lt)较小的天线选择算法。研究结果表明该算法的性能与最优收发联合天线选择算法相接近。根据被选天线数目与总天线数目的比例关系,提出了一种适用于MIMO任意天线数目的天线选择算法。3研究了二进制粒子群算法在无线通信系统的应用,针对二进制粒子群算法的收敛性问题,提出了改进的二进制粒子群收发联合天线选择算法,研究结果表明:改进二进制粒子群天线选择算法具有较好的收敛性,并且与最优天线选择算法的性能接近,同时二进制粒子群收发联合天线选择算法的计算复杂度比最优算法小。