现代无线通信系统中,用户对于信息传输速率和传输质量的需求不断提高,如何在不增加带宽的前提下来提高信息传输速率和可靠性是下一代无线通信发展中亟待解决的问题。在这种情况下,MIMO技术和中继技术逐渐引起了广泛关注。考虑到实际MIMO系统中接收端处理的高复杂度,寻求从发射端对信号进行处理的技术势在必行。预编码技术通过在发射端利用CSI进行预处理,使得发射信号与衰落信道相匹配,以达到消除数据流之间干扰并且降低接收端处理复杂度的目的,从而改善系统误码率并提高吞吐率。将预编码技术引入到MIMO和中继系统中,对于提高通信质量有着重要的意义。本文以非线性预编码技术为研究对象,研究了非线性收发机的设计方案,以及物理层安全和无线能量传输系统中非线性预编码器的设计算法。首先,论文介绍了预编码技术的基本原理。依次介绍了线性和非线性预编码两类预编码技术的基本模型和矩阵构造算法。在线性预编码算法中研究了基于ZF准则,MMSE准则和基于信道SVD分解的算法,以及在多用户MIMO系统中广泛使用的BD算法。相较线性预编码,非线性预编码可以显著的提升系统性能。我们首先给出了DPC算法作为非线性预编码的理论基础,随后详细介绍了THP算法和VP算法,THP是我们文中重点研究的算法。其次,论文研究了非线性预编码技术在收发机设计方面的应用。重点研究了MIMO协作中继系统的鲁棒性非线性收发机设计,通过联合设计源节点预编码矩阵、中继节点预编码矩阵及目的节点处理矩阵来最小化系统的MSE。设计中采用统计误差模型,分别从发送端的相关矩阵为单位阵和接收端的相关矩阵为单位阵两种情况进行研究。并通过信道分解等方法,将设计问题利用迭代法在KKT条件下求解。在此基础上,我们提出了在发射端采用MB策略进行传输的设计方案,研究了低复杂度的MB转换排序矩阵设计算法以便于实际应用,同时提出了基于最小欧式距离的选择机制用于选取最优的支路进行信号传输。还将MB策略进一步推广应用于VP预编码的设计,提出了基于MMSE准则的减格辅助MB-VP算法。仿真结果表明我们提出的算法性能优于传统的收发机设计算法。再次,论文研究了非线性预编码技术在物理层安全问题中的应用。对MIMO系统中发射端预编码矩阵和接收端处理矩阵进行了联合设计,在考虑发射端功率约束以及保证合法用户QoS性能的前提下,最大化分配到人为干扰上的功率,从而最大程度干扰窃听用户的接收。接着将问题推广到MIMO协作中继系统中的物理层安全研究中,提出了一种基于人为加扰的鲁棒性非线性收发机设计算法。算法在考虑源节点和中继节点功率约束的前提下,以最小化合法用户MSE为目标进行了优化,并将非凸的优化问题松弛分解为两层子问题进行求解,同时还研究了如何在中继节点进行AN和消息信号的最优功率分配。仿真结果验证了我们提出的算法在改善物理层安全方面的有效性。最后,论文研究了非线性预编码技术在无线能量传输中的应用,提出了基于全双工的无线能量传输中继系统的鲁棒性非线性收发机设计。设计中考虑了新型的传输策略,在中继节点同时进行信息传输和能量收集,并在发射功率受限与采集能量约束的条件下建立最优化数学模型来最小化系统MSE。模型中将非凸问题转换为几个并行的子问题,采用交替迭代的方法进行求解：给定源节点THP预编码矩阵,中继节点预编码矩阵,反馈矩阵,可以得到线性接收矩阵的闭式解；给定其余待求矩阵变量,求解中继节点预编码矩阵可将优化问题转化为可解的SOCP问题；给定其余待求矩阵变量,求解源节点THP预编码矩阵可将优化问题转化为DC规划问题,采用CCCP算法来得到局部最优解。设计中还考虑了QoS约束条件下发射功率最小化的问题,并且提出了一种可以有效的搜索可行初始值的算法。仿真结果验证了我们提出的鲁棒性算法的优越性。