下一代宽带蜂窝移动通信系统(IMT-Advanced)引入无线中继技术以扩展覆盖范围,同时也考虑利用协同中继技术获得空间分集增益,从而提高系统的频谱效率和数据的传输速率。为了解决中继传输中,中继链路需要占用额外的资源,无法保证中继传输的高频谱效率的问题,网络编码技术被提出以进一步提高IMT-Advanced系统的无线中继传输性能。网络编码技术打破了传统的信息处理方式,它要求中继节点不仅仅转发接收到的信息,而是进行相应的信号处理后再转发。将网络编码运用到无线中继网络中,结合其特性可以增大无线网络的吞吐量,减少中继转发数据包的次数,提高系统的频谱效率。在实际的无线环境下,由于无线信道的衰落特性,不可避免的造成各条无线链路都将存在传输误差。因此,在实际的衰落信道下,采用网络编码的中继系统距离多播系统理论容量界很远,甚至可能出现小于不采用网络编码的中继系统容量的情况。为了保证无线中继网络编码方案能够具有较好的性能增益且能够在实际无线中继系统中应用,本文根据不同应用场景,研究不同中继网络编码的物理层增强技术,以提高网络编码在无线中继环境下的链路传输性能。文章的研究工作主要有以下几个方面：1、对适用于双向中继和多址接入中继两种应用场景的网络编码方案进行了充分的调研。本文介绍了基于放大转发(Amplify-and-forward, AF)／译码转发(Decode-and-forward, DF)的几种常用网络编码,并对比了各种方案的中断概率／误码率,评估了各种方案的优缺点以及适用范围。2、在双向中继场景中,为了提高网络编码映射的正确率,本文提出了基于双天线中继的Sum-Difference网络编码映射方案,通过理论推导和编程仿真验证了通过新算法中继节点可有效提高网络编码映射的正确率。在此基础上,本文提出了适用于正交幅度调制(Quadrature Amplitude Modulation, QAM)的简化映射方案,通过仿真验证简化算法可在保证算法性能的基础上有效降低算法复杂度。3、在多址接入中继场景中,若中继对源端的信号判决有误,并将该错误信号重构为网络编码信号,则会引起错误扩散,导致目的节点性能的急剧下降。因此,本文提出了基于互信息转发的网络编码方案。中继节点在对源信号进行判决时,通过计算互信息来判断判决的可靠性。中继在转发网络编码信号的同时,转发互信息。为对比该方案的性能优势,论文将其与基于AF、DF、EF (Estimate-and-forward,估计转发)三种转发方案的网络编码进行了对比,并通过仿真验证了新方案在各种信道条件下都能有效降低误码率。