协同通信的协作传输模式普遍建立在中继传输的基础上,协作传输模式相比于传统通信模式的一个明显的好处是能够获得协作分集,尤其是物理层上的协作分集增益有助于提高系统性能的稳定性。如何在协同中继通信中获得协作分集增益是本论文研究的出发点。由于多天线技术在未来移动通信中的广泛应用,本论文提出并分析了多输入多输出(multiple input multiple output, MIMO)中继场景中的各种协作分集方案。本论文主要采用如下的研究思路：提出协作分集传输方案,推导与传输方案相关的随机变量的统计特性,用得到的数学结论来推导出传输方案的中断概率和误符号率等,最后分析方案的性能。本论文的主要研究内容为在协同中继通信的MIMO中继场景中提出多种协作分集方案,包括新的发送天线选择(transmit antenna selection, TAS)策略,发送天线选择和中继选择(relay selection)的结合方案和新的正交空时块码(orthogonal space-time block codes, OSTBC)传输方案等,并对各种方案进行性能分析。主要涵盖如下三个方面的内容：研究了两跳单个MIMO中继中的发送天线选择。在两跳单个MIMO中继场景中我们提出了新的发送天线选择策略,并且将这些策略应用到非再生MIMO中继和再生MIMO中继的传输方案中,分析了这些方案在MIMO中继中能够达到的性能。在所考虑的有直射路径的两跳单个MIMO中继场景中分别设计了发送天线选择策略与非再生中继协议和再生中继协议相结合的传输方案,较之已有的天线选择策略,新的天线选择考虑实际系统的限制,在能够达到的传输性能和实现的复杂度上进行了折中,使得传输方案能够获得部分天线配置下的满分集度。为了进一步分析提出的天线选择策略的性能,我们将这些新的发送天线选择策略应用到没有直射路径的两跳单个MIMO中继中,分析了在非再生MIMO中继中的分集性能,提出的方案能够获得此场景下的满分集度；同时在链路端到端平均误符号率最小的准则下进行最优中继的选择,得到与天线配置有关的最优中继选择准则来进一步优化链路的性能,即当两跳的天线配置不平衡时,选择的中继节点应该靠近天线少的源节点或者目标节点；当两跳的天线配置平衡时,选择的中继节点应该在源节点与目标节点之间的中点附近。研究了两跳多个MIMO中继中的发送天线选择和中继选择。我们提出了新的发送天线选择和中继选择相结合的传输方案,并对提出的传输方案进行性能分析。在高信噪比的渐近分析中,我们通过误符号率的上下界来逼近传输方案实际的误符号率,这种逼近方法主要关注表达式中平均信噪比指数逼近的准确性,从指数的一致性得到了传输方案能够获得满分集度的结论。分析还表明,这种方案的分集度只与所有中继节点的天线总数有关,而与中继节点之间具体的天线分配无关。研究了两跳单个MIMO中继中的正交空时块码。我们提出了新的正交空时块码传输方案,并进行了渐近性能分析。提出的正交空时块码传输方案利用源节点到中继节点的瞬时信道信息,重构源节点到中继节点到目标节点这个复合信道,使得正交空时码中的各个符号在等效的并行子信道中互不干扰的传输。这样的设计使得我们提出的方案能够达到满分集度,并且性能优于已有的正交空时码传输方案。