网络编码作为一种可从理论上达到最小割-最大流容量的新技术已受到了学术界和工业界的广泛关注。在无线协作通信系统中引入网络编码技术,研究结果表明它可以在进一步提升网络吞吐量、负载均衡、安全性和增强鲁棒性等方面具有显著的优势。进一步地,近几年来所提出的物理层网络编码技术逐渐成为无线协作通信系统中的研究热点。结合现有的研究成果及方法,本文主要针对下一代移动通信系统中所引入的无线协作中继技术以解决覆盖及容量提升等问题,将无线网络编码技术与无线协作中继技术相结合,给出不同无线协作中继场景下的无线网络编码方案,进一步验证其性能优势。最后结合无线协作通信系统中的生存性特点,给出基于网络编码的生存性保护策略及建模方法。主要研究内容为:1.给出了网络编码应用于无线协作通信系统的研究现状,以及三类物理层网络编码技术—有限域上的物理层网络编码、模拟网络编码及复数域网络编码的研究现状及各自特点。进一步给出搭建基于模拟网络编码的无线协作通信系统的验证平台方案,并对物理层网络编码相关理论及其应用实现的发展趋势进行了分析与展望。2.在双向协作中继场景下,给出了基于物理层网络编码的双向协作中继方案以及物理层网络编码实现的映射机制,并进一步给出以最小总功率消耗为目标的最优功率分配机制。与现有的机制相比较,该机制可显著提升系统的性能,提升系统资源利用效率。3.在多址接入协作中继场景下,给出了基于模拟网络编码的多址协作中继方案,首次讨论了以最大化系统互信息为目标的基于模拟网络编码的多址接入协作中继最优功率分配存在性问题,给出了具体的功率分配策略,并进一步地讨论了该方案下的中断概率和吞吐量。与现有机制相比较,所提出的机制可获得一定的系统性能增益。4.在多源-单中继-多目的点的协作中继场景下,给出了基于模拟网络编码的无线协作中继方案,分析了模拟网络编码噪声传播累积对系统性能的影响。在此基础上,率先给出了一种结合THP预编码的模拟网络编码机制。与现有的模拟网络编码机制相比较,它可有效降低模拟网络编码噪声的传播累积,使得系统获得较大的性能提升。5.结合网络编码技术,给出了无线多对一协作传输场景下更为高效的单链路(单路径)失效的次优生存性策略。进一步地,结合已有的生存性建模和分析方法,以实际的无线协作通信系统—IP多媒体子系统为例,给出了基于随机Petri网的生存性建模及性能分析方法。最后,对影响生存性模型合理性的结构特征进行了分析,并首次给出了引起模型不合理的结构特征—无用的服务失效结构(结构混惑)的检测方法。