在下一代无线通信系统中,为进一步提高通信系统的传输速率与可靠性,多天线和协作通信技术受到广泛关注。一方面,在发射端和接收端配置多天线可以构成多输入多输出(MIMO)系统,进一步结合空时编码,可获得空间复用与空间分集,提高信道容量并有效对抗衰落;另一方面,对于某些由于移动终端的体积、复杂度以及功耗等方面的限制而难以安装多天线的系统,分布在不同地点的单天线终端通过协作传输也可以获得空间分集,提高用户的可达速率,增强通信系统的鲁棒性,并通过协作终端之间资源共享达到节约整个网络资源的目的。本论文主要研究多天线系统与协作中继网络中利用空间分集的高效传输技术,重点解决多天线系统中广义分层空时码的群检测算法引起的分集损失的补偿问题和协作中继网络中分布式广义低密度(GLD)码的设计问题。主要研究内容归纳如下:首先,在MIMO系统中,针对广义分层空时码的群检测算法引起的分集增益损失问题,提出迭代群检测算法。广义分层空时码兼具分层空时码和空时网格码的优点,具有较高的数据传输率和通信可靠性,但接收端的群干扰抑制和干扰消除(IC)算法也造成部分天线层分集增益的损失。针对该问题,提出硬判决的最小均方误差(MMSE)迭代群检测和MMSE IC迭代群检测算法,通过迭代干扰消除算法弥补天线层分集增益的损失,降低错误传播,提高系统的整体性能;而且MMSE IC迭代群检测算法降低了系统对检测顺序的敏感性。此外,MMSE IC迭代群检测算法结合天线层之间的功率分配也可进一步改善系统性能。其次,针对成簇的协作中继网络,提出基于分布式广义低密度码的协作传输方案。该方案利用GLD码中分量码的部分检错和纠错功能,实现GLD码的分布式译码和转发。通过调整每个中继节点所分配的分量码的数量,适应了节点的随机移动引起的中继数量变化;若假设系统不存在由于译码失败而失效的中继节点,分布式GLD码可以保持系统的整体码率不变。针对中继节点提出的渐进式处理算法,可自适应于信源和中继节点之间的信道质量的变化,具有较低的复杂度。在目的节点,将不同路径的软信息合并后进行GLD码的迭代译码,以较低的复杂度同时获得了分集增益和编码增益,可有效对抗准静态衰落,与直接传输相比有几十dB的性能增益。进一步与分布式Turbo码的协作传输方案进行比较,分布式GLD码在误比特率性能、复杂度以及系统码率等方面也有一些优势。另外,论文还针对具体的网络拓扑结构,考虑大尺度衰落,研究了信源和中继节点之间的功率分配对分布式GLD码的性能影响。最后,针对一般的协作中继网络,分析信源和中继之间的信道衰落造成的中继失效概率以及中继失效对分布式GLD码的影响。论文分析了不同数量中继节点失效的概率分布,对任一给定中继数量的网络,根据贝努利实验的理论给出了以最大概率发生的失效中继的数量,并仿真验证了中继失效的概率分布与信源到中继的信道质量的变化关系。进一步,研究了非理想中继条件下的分布式GLD码,分析中继节点失效对系统性能和整体码率等方面的影响。仿真结果证实,部分中继失效不会使分布式GLD码的性能明显恶化,且随信源到中继节点的信道条件的改善,系统的平均性能逐渐趋向于理想中继条件下的性能。