随着人们对无线通信业务的需求的不断提高，尚未普及的3G移动通信系统已经无法满足用户的需求。因此，越来越多的人开始将注意力集中到下一代的（Beyond3G或4G）移动通信技术的研究上。更高的数据传输速率、更大的系统容量和更好的通信质量是新一代移动通信技术需要解决的关键问题。以多输入多输出（MIMO）为代表的，以信号处理为基础的多天线技术是目前公认的实现上述目标的最佳选择。 基于信号处理的多天线技术是无线通信系统近期的一个研究热点。单用户多输入多输出技术是无线通信领域的一个重大突破。随着对多输入多输出信道的信道容量的深入研究，出现了越来越多的基于非相关性天线阵列的多输入多输出系统。相关技术的研究工作也突破了原有的点对点的框架，开始向多用户虚拟多输入多输出的方向发展。本文针对这一领域的相关问题进行了研究。 首先总结了接收分集、发射分集、单用户MIMO（SU-MIMO）、多用户MIMO（MU-MIMO）的信道容量方面的最新研究成果。通过对比这些容量，说明了各种多输入多输出系统的特点。然后，分别对基于空间分集的SU－MIMO系统、基于空分复用的SU-MIMO系统、复用与分集折中的SU-MIMO系统、下行多用户MIMO系统、虚拟MIMO系统和协作MIMO系统进行了研究和总结。在此基础上，重点研究了多用户多输入多输出系统中的相关技术，包括多用户调度技术和空分多址技术。 论文的主要贡献包括以下几个方面： 本文分析了MU-MIMO系统中的多用户调度问题的特殊性，提出了一种信道质量和正交性分离的多用户调度框架。采用这种调度方式可以将多用户调度（MS）的过程分解为两个独立的过程：基于信道质量的用户选择（US）过程和基于用户间正交性的分组调度（GS）过程。在用户选择阶段，系统根据用户的信道质量状况以及它们的服务质量需求，选择出待服务的激活用户集合；然后在分组调度阶段，根据用户间的正交性关系将待服务的激活用户分成若干个最优的用户组合。采用这种多用户调度方式，不需要所有的用户都反馈完整的信道状态信息，减少了反馈链路的开销，可以明显降低调度系统的复杂度，并且有利于继承单天线系统和SU-MIMO系统中的多用户调度问题的一些研究成果。 在研究了多用户选择算法的基础上，针对MU-MIMO系统的分组调度（GS）过程，提出了一种低复杂度的分组调度算法。该分组调度算法的基础是一种基于用户的方向向量的价值因子。计算机仿真结果显示该价值因子在统计意义上和分组容量具有一致性。本文给出了两种不同的分组调度策略，通过使用该价值因子，避免了在调度过程中反复计算信道容量，将分组调度算法的乘法运算量降低到了激活用户数量的平方倍。这两种分组调度算法和具体的多用户预处理方法无关，可以和多种预处理方法共同使用。通过计算机仿真，验证和分析了算法的性能。仿真结果显示，对于一个4天线的基站，当系统中有40个激活用户和10个可用时隙时，通过分组调度，可以将迫零预处理后的系统平均容量提高4bits/Hz以上。 在研究了多用户系统的空分多址技术的基础上，针对多用户MIMO系统的下行链路，提出了一种基于子空间分解的预处理方法。通过对信道矩阵进行奇异值分解，得到了一个特殊子空间的一组基矩阵。分析信道反转（CI）方法和规则化反转（RCI）方法后，可以发现，这两种方法所采用的预编码矩阵均是这些基矩阵的加权和。基于最大平均信道容量准则，本文在发射功率约束条件下给出了这个子空间上的最佳预编码矩阵的优化方法。计算机仿真结果显示，本文提出的方法相对于CI和RCI算法，有效提升了系统的平均信道容量和中断容量，并且能够更好的处理远近效应问题。 在研究了迫零算法性能退化的根源后，本文提出了一种基于干扰图样的预编码矩阵的生成方法（PBIF）。该方法可以将下行多用户MIMO信道分解为多个带有特定的多用户间干扰的单用户信道。通过在编码过程中增加可以控制的多用户干扰，提高了每个用户的预编码向量的生成空间的维数。本文给出了一种特殊的干扰图样以及相应的显式参数优化方法。通过计算机仿真，在4天线场景下，分析了该预编码器的性能。结果显示，相对于线性迫零类算法，本文提出的预编码方法可以有效的提高系统的可靠性。在中断概率等于0．1时，相对于块对角化方法，基于随机用户顺序的PBIF方法将损耗信道容量提高了47％，而基于最佳用户顺序的PBIF方法则将损耗信道容量提高了106％。