为了满足日益增长的高速率数据传输的需要,新型的无线通信系统中,无线传输的终端和基站都将装配多个天线,从而构成了多输入多输出的系统,也就是MIMO系统。MIMO技术的应用极大地提高了系统容量,同时MIMO系统可以提供分集、复用等增益。另一方面,如果由基站到用户形成的下行链路受到严重的阴影效应影响,信号会非常微弱,所以无线中继可以用来扩大通信系统的覆盖范围。无线中继的基本思想是用中继节点将源节点的信号重新处理后再发送给目标节点。随着MIMO技术的发展,中继技术和MIMO技术有效的结合在了一起,产生了新的MIMO无线中继技术。对于MIMO无线中继技术的研究已经成为了热点之一。基于以上背景,本文对MIMO无线通信系统作了详细而深入的研究,主要成果如下：1.针对多用户MIMO上行传输系统中存在的多用户干扰问题,提出了基于块对角化技术的并行和串行两种多用户干扰消除的算法。在并行算法中,基站将具体某个用户的信号投影到其它用户的零空间内,使得该用户的信号和其它所有用户的信号正交,从而完全分离出该用户的信号,并进行独立检测。在串行算法中,基站顺序地假设已经检测出的某个用户的信号是完全正确的,这样就可以将该用户的信号从总的接收信号中减去,从而消除了该用户对其他用户的干扰。无论是并行还是串行的算法,都是将一个多用户MIMO上行传输系统分解成为多个单用户MIMO系统,使得现有的针对单用户MIMO系统的算法可以直接使用。论文所提方案在消除多用户干扰的同时,保留了多天线接收机对信号的联合处理能力,有效地提升了系统的性能。2.针对多用户MIMO下行传输系统中存在的多用户干扰问题,提出了鲁棒的连续MMSE预处理的方法。在设计预处理器的时候,发射端只能获得反馈的信道状态信息,和真实的信道状态信息之间存在误差。该误差可以用一个零均值的高斯白噪声近似。考虑到误差的统计特性,利用MMSE准则对连续MMSE预处理器进行鲁棒设计。仿真结果表明,本文所提鲁棒的MMSE预处理器的性能明显优于不考虑误差的传统设计方案,甚至能消除误码平层。3.研究了针对MIMO非再生无线中继系统,移动台采用线性MMSE接收机时,如何使中继站以最小的功率消耗满足给定的MMSE约束。通过研究发现,可以将该问题转化为一个凸优化问题。通过极限条件下的论证,可以确定该系统所能满足MMSE的最大范围和最小范围。最后利用注水算法得到满足给定的MMSE约束条件的最优中继站的功率分配方法。仿真结果表明，随着中继站天线数目的增加,所需的发射功率减少。4.针对MIMO非再生无线中继系统中,移动台采用非线性MMSE决策反馈接收机时,研究了如何进行基站和中继站,以及移动台的联合收发机设计,从而使得系统的检测性能最好。首先利用线性矩阵不等式的相关结论,推导出移动台接收机部分的前馈矩阵和反馈矩阵的最优形式。接着利用矩阵几何均值分解技术,找到中继站的最优线性加权矩阵和基站的最优预处理矩阵,从而完成了最优非线性MMSE决策反馈收发机的联合设计。仿真结果表明,所提方案的检测性能极大地优于现有的最优MMSE线性收发机技术。5.针对MIMO非再生无线中继系统中,基站通过中继站和多个移动台同时进行通信时,存在多用户干扰的情况,提出基于块对角化技术消除多用户干扰的方法。中继站首先对接收到的来自基站的信号进行并行的块对角化处理,从而将发送给不同用户的信号分离出来。接着,通过块对角化预处理器,将信息发送给各个用户。对于每个用户而言,来自其他用户的干扰已经被完全消除了。通过所提的方案,一个多用户的MIMO无线中继系统被分解为多个单用户的MIMO无线中继系统。同时,对于该方案,研究了如何在中继站进行最优功率分配,从而达到系统的最大容量。