混合自动重传请求技术将自动重传请求和前向纠错编码技术结合起来,充分利用两者的优点,既能保证可靠传输,又能获得较高的吞吐量性能,因而被广泛应用到各种移动通信系统中。同时,由于基于星座重排方案的]HARQ可以解决高阶调制所固有的同一映射符号内各比特可靠性不同的问题,进而能够提高译码性能,因此,本文主要研究基于星座重排的HARQ技术在协作通信系统和MIMO系统中的应用。论文首先研究基于星座重排的HARQ技术在协作通信系统中的具体实现。通过分析协作HARQ系统与采用星座重排方案的其他系统的不同和思考为使目的节点译码性能最佳,源节点和中继节点应如何协调重排方案中各个版本的发射,逐步得出最合理的星座重排方案。其次,论文对MIMO-HARQ系统中现有的星座重排方案进行优化和改进。通过分析现有方案的不足,综合考虑MIMO、HARQ、星座重排三者的融合情况和MIMO-HARQ的合并性能,提出一种基于码阵维数的星座重排方案。且在此基础上,通过分析新场景下的系统特征,将其中的格雷星座重排转变为非格雷星座重排方案,进一步提升系统的性能。通过理论与仿真分析,本文提出的基于星座重排的协作重传策略与基于码阵维数的重传方案在一定条件下都可以提升对应系统的性能。本文所提算法与现有的通信系统有很强的兼容性,通过重传采用优化设计的星座重排方式有效提升了系统的可靠性,复杂度低,有较高的实用价值。