移动通信技术正朝着高传输速率、高可靠性和高有效性的方向发展。协作中继技术的提出，打破了无线移动终端体积受限无法通过多天线技术获得空间分集增益的弊端，受到普遍关注和研究。协作中继技术本质上是一种虚拟多天线技术，利用无线传输介质的广播特性，通过网络节点间的相互协作构成虚拟天线阵列，获得空间分集增益，提高网络吞吐量和可靠性。目前协作中继技术已被广泛用于Ad hoc网络、移动蜂窝网和无线传感网，并且是4G通信的关键技术之一。因此，本文以无线协作中继网络为研究背景，以跨层设计为主要思想，综合考虑物理层的网络编码技术和链路层的HARQ机制和MAC协议，对协作中继传输协议进行设计及优化。　　 网络编码技术自提出起就以其高吞吐量和低时延等优越性能而备受青睐，而HARQ机制集合了ARQ和FEC两种差错控机制的优势，在保证无线通信可靠性上得到了广泛应用。协作中继系统采用网络编码后，原先针对协作中继网络设计的HARQ机制不能有效兼容，急需一种融合网络编码的HARQ机制在提高系统容量的同时确保传输的可靠性。本文针对这一问题在双源节点-单中继-单目的节点的应用场景下，基于两种不同的网络编码方式，结合协作HARQ机制，设计了两种中继传输协议—联合固定网络编码与HARQ(DNC-HARQ)传输协议和联合随机网络编码与HARQ（ONC-HARQ）传输协议。推导和分析了DNC-HARQ和ONC-HARQ这两种传输协议的系统中断概率与频谱效率。随后在总功率受限的约束条件下分别以最大化系统频谱效率和最小化系统中断概率为优化目标，联合功率分配和HARQ机制进行跨层设计，进一步优化系统性能。　　 网络编码技术使双向中继从理论层面的研究向实际应用中发展成为可能，两者的结合使得网络吞吐量得到提升的同时扩大了传输的覆盖范围。MAC协议是介质控制层用于控制节点接入信道，管理无线资源的有效手段。现今针对双向中继系统的网络编码研究成为新的热点，本文就如何基于网络编码技术提高双向中继系统容量及可靠性的问题，提出了一种采用计时器方式的分布式中继选择算法，并设计了双向中继的分布式协作MAC协议，分析了该协议下的系统归一化吞吐量;进一步，在双向中继信道两源节点场景下，设计了一种双向中继协作MAC-HARQ协议。该协议在重传过程中摒弃原先选中的最优中继，而从候选中继集合中重新选择最佳协作中继，并推导分析了该传输协议下的系统中断概率。