全双工双向中继系统是通过全双工中继在相同的时频资源下完成信息在两个全双工端节点之间的双向传输。作为一种高效的数据通信方式,它是5G的重要研究课题之一。本文主要研究全双工双向中继系统的中继策略,探索残留自干扰环境下该中继系统的高谱效与高能效中继方案。首先,针对各节点处两根分离式天线的全双工双向放大转发(Amplify-and-Forward:AF)多中继系统,本文提出了一种联合中继与天线的高谱效链路选择策略。该策略根据最小接收信干噪比最大的准则选择最优中继,同时各节点处每根天线的收发功能也由系统根据当前准则在信号的传输过程中进行动态配置,从而联合选择出最优中继及最优收发天线配置模式,并分析得到该策略下系统总可达速率上界以及误码率的闭合表达式。通过数值仿真与蒙特卡罗仿真方法对理论分析进行验证,结果表明:本文提出的链路选择策略相较于传统策略可最多实现75%的可达速率增益以及数倍误码率的降低。其次,针对各节点处多根共享式天线的全双工双向AF MIMO(Multiple Input Multiple Output)中继系统,本文提出了一种联合天线选择与功率自适应的高能效中继策略。该策略以能量效率最大化为目标,频谱效率及节点功率限制为约束,选择出中继节点的最佳收发天线子集以及确定各节点处的最优发射功率。所提出的策略基于循环迭代的思想,每次迭代过程中根据系统能量效率增益最大的原则选择一组中继收发天线,并更新当前天线子集后计算各通信节点最优发射功率,将此功率值作为下一次迭代过程中选择收发天线的初始值,直到遍历中继所有天线,最后选择系统能量效率最大时对应的收发天线子集及各节点发射功率。结果表明:本文提出的高能效中继策略相较于传统策略有效提升了全双工双向MIMO中继系统能量效率,并减少功率消耗。综上所述,本文提出的全双工双向中继策略在提升系统频谱效率及能量效率上具有较大优势,并保证了通信的可靠性,为今后实际系统环境下全双工双向中继传输提供了理论支撑,具有一定的应用价值。