协作分集技术是未来无线通信中对抗信道衰落的有效手段之一，该技术可以使分布在不同地理位置的网络节点共享彼此的天线，从而构成虚拟的多天线阵列来获得空间分集增益。然而，协作中继传输可能会导致系统频谱利用率下降，而重叠调制技术可以在不降低频谱利用率的前提下提供额外的分集增益，因此如何将重叠调制和协作分集技术有效地结合起来是一件具有研究价值的工作，本文深入研究了在用户协作模型下重叠调制和协作分集技术的联合设计问题。首先，论文简要介绍了无线协作分集技术的发展与演进，阐述了基于重叠调制的协作分集技术的研究现状；然后，介绍了协作分集的基本概念和原理，对三种基本协作分集方案：放大转发方案、译码转发方案和编码协作方案进行了性能分析和比较，并指出了上述方案存在的缺陷；随后，提出一种典型的基于重叠调制技术的协作分集方案，对该方案性能进行了详尽分析；并以此为基础，针对现有重叠调制方案译码复杂度高、抗信道衰落能力弱、一维化叠加星座效率低等不足，提出了两种改进型方案，分别是基于LDPC迭代检测译码的重叠调制协作分集方案和基于星座重排的重叠调制协作分集方案。理论分析与仿真结果均表明，所提的两种改进型方案可以有效改善系统的综合性能。