随着移动通信的不断快速发展,通信业务的不断多元化,以多媒体等为代表的新兴业务代替来了原有以语音短信为主体的传统业务,由此带来的是需要更高的传输速率和更好的服务质量,以满足人们对高速通信日益增长的需求。然而有限的频带资源始终是制约上述需求得以满足的重要因素。因此,在有限的频带下,如何有效的提升频谱效率是一个受到广泛关注的问题。多输入多输入(Multiple Input Multiple Output,MIMO)系统由于能够在不增加发射功率下有效的提高频谱效率,获得了广泛关注。而预编码技术作为能够使多输入多输出系统达到或接近系统理论容量的关键技术手段,也是近年来学术界和工业界的研究重点。本文主要围绕THP预编码,以此为技术基础展开MIMO系统的预编码技术研究。论文主要针对MIMO干扰信道和多小区多用户系统,提出了THP联合收发机设计策略;以及在大规模天线系统中,针对用户聚集的场景,提出了低复杂度的二级预编码设计算法。本文主要研究内容和成果如下:首先,论文对MIMO预编码的研究现状进行了分析。对以迫零(Zero Forcing,ZF)和最小均方误差(Minimum Mean Squared Error,MMSE)为准则的线性预编码算法进行了分析。由于非线性预编码相比于线性预编码有着更好的性能,为此,我们进一步对脏纸编码(Dirty Paper Coding,DPC)、THP和矢量扰动(Vector Perturbation,VP)预编码进行了介绍和分析。其次,论文研究了THP预编码在MIMO干扰信道中的应用,提出了基站端具有理想信道信息条件下基于THP预编码的联合收发机设计算法。该方法考虑了每个发射机功率约束条件,以总MSE最小化为目标函数,设计接收矩阵,发送矩阵和反馈矩阵。由于该问题具有非凸性,我们通过固定其中两个矩阵,设计另一个矩阵,将问题转化为凸优化问题,并在KKT条件下求解闭环表达式。最后利用交替迭代算法求解次优解。在此基础上,进一步考虑了信道存在信道误差的情况,在假设信道误差为高斯分布以及发射端和接收端天线存在相关性的情形,提出了具有鲁棒性的THP预编码的联合收发机设计算法。仿真结果表明我们提出的算法的性能优于线性预编码收发机算法的性能。再次,论文将THP预编码技术应用在多小区多用户场景。在每个基站功率约束下,以系统总MSE最小化为目标函数对小区内的每个用户设计反馈矩阵接收矩阵和预编码矩阵。最后通过仿真验证了所提的算法的理论分析的正确性。最后,针对大规模天线系统预编码设计的复杂度问题,并考虑了用户在地理位置上往往具有聚集效应的特点,提出了基于THP的低复杂度两级预编码设计算法。该算法利用THP消除聚集群内用户的干扰,利用线性预编码消除群间用户的干扰。仿真结果表明,尽管与完全预编码相比,所提算法在性能上有一定程度的损失,但是较好的降低了系统的计算复杂度。