近年来，随着众多新型移动应用不断涌现，人们对高质量无线数据业务的需求也日益增长。从通信物理层传输的角度来看，由贝尔实验室发明的多输入多输出(MIMO，Multiple-Input Multiple-Output)技术是应对这一需求的最有效途径之一。该技术的优点在于利用空间资源提高系统的有效性和可靠性。为了进一步提高传输性能，近期关于MIMO技术的研究热点已经从传统的单用户MIMO转向一些更为复杂的场景，例如多用户MIMO、多小区MIMO和中继MIMO等。　　在各类MIMO系统中，一个重要的课题是研究如何利用信道状态信息(CSI，Channel StateInformation)设计性能优异的收发信机，从而充分挖掘MIMO信道的潜在优势。实际系统中，由于信道估计、量化反馈以及反馈时延等因素，通常只能获得非理想CSI，而这往往会导致严重的性能损失。因此，在设计收发信机时必须将CSI误差考虑在内，从而提高系统在非理想CSI场景下的性能。本论文对几类MIMO系统的鲁棒收发信机优化进行了深入研究。具体而言，论文作出了以下主要贡献:　　首先，针对存在非理想CSI的下行多用户MIMO系统，第二章提出了一种新颖的发射预编码算法。利用信道在时域的相关性，将用户的接收机信息融入传统的信漏噪比(SLNR，Signal-to-Leakage-plus-Noise Ratio)预编码设计中，获得优于SLNR方案的性能。之后，着重考虑提高该方案对非理想CSI的鲁棒性。通过引入统计鲁棒性(Statistical Robustness)的设计思想，先后针对反馈时延和量化反馈这两种CSI非理想因素探讨了鲁棒预编码优化。在上述工作的基础上，本章又设计了一种高效的功率分配方法用于进一步提高系统性能。此外，论文还将所提出的预编码算法推广至多小区MIMO系统中。仿真结果表明，该发射预编码可以提供比传统方案更优的性能。　　然后，第三章从最差情况鲁棒性（Worst-Case Robustness）的角度研究了非再生(Nonregenerative)中继MIMO系统的鲁棒收发信机优化问题。依据最小均方误差(MMSE，Minimum Mean-SquareError)准则，首先将鲁棒设计问题建模为一个最小化最大值问题。接着，通过将原问题分解为关于分别优化中继预编码和信宿接收机的两个子问题，论文证明在一定条件下每个子问题的最优解都具有信道对角化结构。随后，利用这一发现将以复数矩阵为优化变量的子问题转换为等价的标量问题，并设计了高效的数值求解算法。在此基础上又提出一种迭代算法用于联合优化中继预编码和信宿接收机，该算法只涉及简单的标量运算且收敛速度快。最后通过仿真验证了所提出的鲁棒收发信机设计在性能上的优势。　　与前一章工作不同的是，论文第四章以系统互信息量(MI，Mutual Information)为目标函数，探讨非再生中继MIMO系统的最差情况鲁棒预编码优化。首先对单数据流传输这一特殊情况进行研究。针对乘性CSI误差模型，通过直接求解鲁棒优化问题得到了该问题最优解的闭合形式;对于加性CSI误差，由于相应的优化问题难以直接求解，论文借助于马鞍点(Saddle Point)理论获得了问题的最优解。在单数据流情况下获得的结果表明，特征模式传输是一种最优的传输策略。对于更为复杂的多数据流传输场景，运用矩阵分析技巧求解相应的鲁棒优化问题，最终得到了与单数据流情况相似的结论。　　最后，本论文第五章研究非再生中继MIMO系统中存在直达链路和非理想CSI的统计鲁棒收发信机优化，其中优化目标为最小化系统MSE。针对信源和中继独立功率约束的情况，首先在固定信源波束成形向量的前提下，推导出最优中继预编码和信宿接收机的闭合表达式。进一步，为解决关于信源波束成形向量的非凸优化问题，将其等价地转换为易于求解的凸问题。接着，论文证明了所提出的收发信机优化方法可以得到最小化MSE问题的全局最优解。针对更为复杂的联合功率约束，论文在独立功率约束下的收发信机优化算法基础上又引入一维搜索，用于求解相应的优化问题。仿真结果证实，同时考虑直达链路和非理想CSI的中继MIMO收发信机设计具有优异的性能。