随着无线通信技术的不断发展和用户对通信服务需求的不断提高，许多新兴技术应运而生。在LTE-Advance系统中，MIMO中继成为未来通信最具发展潜力的技术之一。它不仅能扩大覆盖范围，为小区边缘用户和热点地区用户提供可靠的信号传输，提高系统的性能，而且其成本较低，能以更加经济的方式减少网络建设架构成本。但是中继节点的引入，带来了信号干扰和功率资源优化问题。为了充分发挥MIMO中继的优点，本文针对多用户MIMO中继通信系统，研究基站和中继的联合预编码问题。本文的主要工作如下：1、针对无直接链路的多用户MIMO中继系统模型，分别在基于最大化系统容量、满足用户QoS约束下最小化总功率和基于MMSE准则下设计基站和中继的预编码矩阵，通过预编码来消除用户间干扰。2、为降低求解复杂度，在最大化系统容量下，对目标函数采用高信噪比近似和分步求解两种方法，并分析和比较了不同方法下系统的容量和误码率性能。仿真结果表明，相比较于高信噪比近似的方法，采用分步求解不仅可以提升系统容量，而且具有较低的算法复杂度。3、针对存在直接链路的多用户MIMO中继系统，在基于最大化系统容量下，对基站和中继端进行了基于信道逆和基于SVD分解两种不同的预编码设计。仿真结果表明，基于SVD分解的预编码算法比基于信道逆的预编码算法能提供更大的系统容量。