为了满足人们对无线通信日益增长的高质量、高速率的需求,无线协同通信技术成为继多输入多输出(MIMO)技术之后的一个主要研究方向。虽然MIMO技术具有频谱效率高、抗衰落等诸多优点,但受体积、价格和功率等的限制,手持终端无法配备多根天线,从而限制了MIMO技术的广泛应用。在协同通信技术中,协作用户间互相协作,共享彼此的天线,形成虚拟的MIMO系统,从而使这一问题得以解决。该技术利用分布式处理获得空间分集增益,提高系统的可靠性,增大系统容量,扩大覆盖面积。本论文针对无线协同通信系统用户间的协作协议进行了深入的研究,在高频谱效率的增量中继协议基础上提出了两种新型的协作协议,并进行了详细的理论分析和仿真验证。本文的主要工作如下：第一,基于增量中继协议提出空域调制增量中继协议。该协议在用户协作的第二传输阶段,将信息比特映射到空域符号和调制星座符号两个信息载体上,降低了调制星座符号的阶数,增大了信号点之间的欧式距离。文中首先针对两用户协作的场景提出该协议,并对协议的误帧率性能进行理论推导,然后将该协议推广到数量满足一定条件的多用户协作场景中。仿真结果表明,提出的增量中继协议比传统增量中继协议在误帧率和吞吐量性能上有显著的提升而且该协议的仿真值与理论值非常接近。第二,提出通用空域调制增量中继协议。该协议是空域调制增量中继协议的进一步改进,解决了空域调制增量中继协议受协作用户数量限制的问题。通用空域调制增量中继协议适用于任意数量协作用户进行协作的场景。本文对该协议误帧率的理论值进行了详细的推导,并对误帧率和吞吐量进行了仿真。仿真结果显示,相比传统增量中继协议,该协议可以显著提高性能。