网络编码被认为是一项具有革命性的技术，这是由于其改变了传统路由器只进行存储转发的工作模式，允许路由器对信息进行处理从而提高网络的吞吐量性能。网络编码在无线通信中的应用是近年来一个炙手可热的研究领域。在无线双向中继通信系统中，网络编码的物理层表现形式——物理层网络编码技术，是近几年兴起的一个研究热点。由于其能够极大地提高双向中继通信系统的吞吐量，受到学者的广泛关注。虽然关于物理层网络编码的研究取得了很多突破性的进展，但是仍然存在很多问题有待进一步解决。在这种背景下，本文对物理层网络编码中继节点的解调映射方案、物理层网络编码在非对称双向中继系统中的性能分析以及改进方案等问题进行了系统性的研究。首先介绍了网络编码和物理层网络编码的基本原理，为后续研究奠定基础。以三节点双向中继通信系统模型为基础，详细阐述了采用传统路由多跳方案，网络编码方案以及物理层网络编码方案的工作过程，分析了各个方案的误比特率和吞吐量性能，并在AWGN信道条件下对各的误比特率进行了仿真。提出了一种相干型物理层网络编码的解调与映射方案，适用于采用2FSK调制的双向中继通信测试床系统。详细介绍了方案的信号处理过程，给出了信号处理过程中各个变量的详细表达式。利用最大后验概率准则确定了判决门限并推导了采用该方案的中继节点误比特率、双向中继系统误比特率以及吞吐量的理论表达式。通过计算与仿真验证了这一PNC解调映射方案的性能。对物理层网络编码在非对称双向中继通信系统中的性能进行了研究。根据不可靠信道的可能分布把非对称双向中继信道分成了四种非对称情况，给出了非对称系统模型。分别在AWGN信道、Rayleigh衰落信道以及Nakagami-m衰落信道中对物理层网络编码的误比特率性能进行了理论推导与仿真。得到了一些有价值的结论，找到了导致PNC在非对称双向中继系统中性能下降的主要原因，为提出改进方案奠定了基础。在非对称双向中继通信系统中研究了物理层网络编码的改进方案，提出了联合正交物理层网络编码。介绍了引入归一化信道增益的双向中继系统模型。给出了联合正交物理层网络编码方案的系统框图并详细阐述了上行阶段与下行阶段的信号处理过程。分别在AWGN信道、Rayleigh衰落信道以及Nakagami-m衰落信道条件下对物理层网络编码方案、正交物理层网络编码方案和联合正交物理层网络编码方案的BER性能进行了理论分析与计算机仿真。结果表明，联合正交物理层网络编码能有效改善PNC在非对称双向中继系统中的性能，并找到了最适合应用这一方案的非对称场景。