本文研究MIMO双向中继协作通信系统中不可靠中继网络的安全问题。在中继通信网络中,中继所连接的各个节点具有不通的安全等级。为了能转发所有节点的信息,中继节点的安全许可等级最低。因此,通信网络中的中继虽然用来传递信息,但是也有可能作为窃听者来窃取信息。针对上述情况,本文提出了MIMO双向中继协作通信网络的物理层安全模型,设计了具有低复杂度的天线分组算法、二次优化载波分配优化方案和按比例分配功率算法,提高了系统总的保密容量。同时,本文理论分析和仿真验证所提的方案的有效性。首先,本文根据MIMO双向通信系统传输信号的特性,合理的搭建了中继协作通信的物理层安全模型,理论推导了系统的安全性能。本文中,协作中继的工作模式为放大转发,且对系统的安全性能和放大系数的关系也进行了仿真验证。其次,针对MIMO双向中继通信系统,本文设计了低复杂度的天线分组方案。文中以最小化信道总的相关系数和为目标,优化天线组合。虽然该算法是次优解,但是复杂度很低且能较好的提高系统安全性能。文中通过理论分析了天线分组算法对系统保密容量的提升,同时也仿真验证了该算法的可靠性和有效性。然后,研究了MIMO双向中继系统的载波资源分配算法,并提出了二次优化载波分配算法。二次优化载波算法一种具有很低复杂度得载波分配算法,该算法能获得最优得载波分配方案,同时因为该算法将遍历过程分为两个阶段,这样就很大程度降低了算法复杂度。同时就该算法得稳定度和复杂度,文中也进行了详细的讨论和分析。最后,研究了MIMO双向中继系统的能量资源分配算法,并提出了按比例分配功率算法。通过与协作干扰等方案进行仿真比较,验证文中提出得按比例分配功率方案具有最好得保密性能。