无线信道的衰落现象是影响通信有效性和可靠性的重要瓶颈。为了提高衰落信道中信号的传输质量,必须采用对抗衰落的有效措施。中继协作通信通过提供空间分集来有效抵抗信道衰落,然而传统的单向中继虽然提高了系统的通信范围、有效性及可靠性,却没有充分利用系统的时隙资源,系统的频谱效率极低。基于网络编码的双向中继传输技术能够明显的提高协作中继通信的频谱效率,因而受到了极大的关注。将多天线技术与双向中继相结合可以进一步改善系统性能。本文围绕多天线双向中继网络中继选择、有限反馈波束成形、天线选择等关键传输技术展开,结合性能分析及功率分配两大研究方向,对不同场景下的不同传输策略进行性能分析与优化。本文的主要内容总结如下：(1)双波散射功率(TWDP)衰落信道下双向中继系统中继选择(RS)方案的性能评估。研究了TWDP衰落信道条件下,基于AF协议的双向中继RS方案性能分析及优化问题,并分别针对系统传输对称业务与非对称业务情况进行了讨论。传输对称业务时,首先推导了一个低计算复杂度的近似中断概率表达式,基于此近似值进一步推导了中断概率的渐进结果；其次结合中断概率的分析结果,推导了系统平均误符号率的近似值及其渐进表达式,并分析了系统的分集度与编码增益；最后分析了系统的最优功率分配方案。传输非对称业务时,根据两个源节点不同的速率要求分情况讨论了RS方案中断概率的近似表达式。仿真结果验证了理论分析的正确性。分析结果适用于双波散射功率衰落信道,同时对瑞利衰落信道以及莱斯衰落信道也是适用的。(2)双向中继系统基于有限反馈波束成形(LFBF)传输的性能研究。对源节点多天线,中继节点单天线的DF协作双向中继网络采用LFBF传输时的系统性能进行了分析,首先利用矩母函数的方法推导了Rayleigh衰落信道下基于有限反馈波束成形算法的中断概率表达式；然后分析了系统和误符号率的解析表达式；最后提出了适用于该系统的最优功率分配方案。仿真结果表明：所提有限反馈波束成形方案能够实现较好的性能且具有较低的复杂度,易于实现；所提功率分配方案可以改善系统的性能。(3)多天线多双向中继系统联合中继-天线选择方案研究。针对系统具有天线集中式和节点分布式的特性,提出中继选择与天线选择相结合的传输方案,并对所提方案进行了性能分析。针对AF多天线多中继网络,提出了一种联合功率分配与中继-天线选择方案。研究把问题分解为最优功率分配与联合中继-天线选择两个子问题,首先分析了系统的最优功率分配方案并得其闭式解；然后基于此最优功率分配方案,得到一种低计算复杂度的联合中继-天线选择方案；最后,推导了最优功率分配时,此联合中继-天线选择方案的近似中断概率表达式,并对所提方案进行了仿真验证。针对DF多天线多中继网络,提出了两种联合中继-天线选择策略。将DF中继网络中两种常见的中继选择方案：机会中继(OR)、选择协作(SC)分别与传输天线选择(TAS)相结合,得到联合机会中继-传输天线选择(联合OR-TAS)及联合选择协作-传输天线选择(联合SC-TAS)方案。然后分析了两种方案的中断概率及其分集度。对于联合OR-TAS方案,可以直接推导其中断性能,对于联合SC-TAS方案,通过证明其中断性能与联合OR-TAS方案相同而得到。仿真结果验证了理论分析的正确性。