信息社会的快速发展对无线通信技术提出了更高的要求,如何实现高速安全的数据传输是当前无线通信领域研究的热点问题。认知中继系统融合了认知无线电技术和协作中继技术,有望解决当前频谱资源紧张的状况,已备受关注。然而,由于无线信道的开放特性,认知中继系统中面临着窃听威胁。物理层安全技术利用无线信道的随机衰落特性,从信息论的角度提供安全保障,是现有无线通信安全技术的重要组成部分。本文集中研究认知双向中继系统中的主次用户安全协作机制,主要的工作与贡献如下。（1）基于双向中继系统窃听信道模型,分析比较了放大转发协议、解码转发协议以及去噪转发协议下的窃听概率和保密和速率。结果表明,相比较解码转发协议,基于放大转发协议和去噪转发协议的双向中继系统可以显著提升系统保密和速率,降低系统窃听概率;随着发射功率的上升,放大转发协议和去噪转发协议的安全性能明显增加;相比较放大转发协议,基于去噪转发协议的双向中继系统在窃听信道质量较好、源-中继信道质量较差或发射功率较低的情况下,具有更好的安全性能。（2）研究多个次用户认知双向中继系统主次用户安全协作方案,提出了最大化主用户保密和速率中继选择策略。针对无法获取窃听信道状态信息的情形,提出了最大化主用户和速率中继选择策略。通过理论分析,证明了两种中继选择策略在去噪转发协议下等价。进而提出了在多个次用户场景下的主次用户安全协作协议。此外,还研究分析了待选次用户数量与次用户网络能获得通信时隙之间的关系。结果表明,所提中继选择策略能提升主用户通信的安全性能;随着待选的次用户数增加,安全性能越高,次用户网络所能获得的通信时隙也越多;在考虑次用户协作代价的条件下,次用户协作增益随着次用户数的增加先增后减,最优次用户数量与未被选中的次用户协作耗费权重相关。（3）研究具有缓冲辅助中继的认知双向中继系统主次用户安全协作方案,提出了最大化主用户保密和速率的次用户自适应链路选择策略。在分析主用户、次用户保密速率以及缓冲区状态的基础上,研究了最大化主用户保密和速率的优化问题,依据瞬时信道状态信息,提出了最大化主用户保密和速率的次用户自适应链路选择策略。仿真结果验证了理论分析的正确性。结果表明,相比较无缓冲辅助中继技术,所提基于缓冲辅助中继的自适应链路选择策略能够有效提升主用户安全通信性能。随着窃听信道质量的提升,自适应链路选择策略性能优势越明显。随着缓冲区不断增大,主用户安全性能越高,次用户网络所能获得的剩余通信时隙也越多。而当缓冲区达到一定大小时,其性能会趋于饱和,此时通过增大缓冲区不再带来系统性能的明显提升。（4）研究次用户节点不可信条件下的认知双向中继系统物理层安全性能,提出了保障主用户信息安全的安全功率分配方案。分析并提出了保障主用户信息不被次用户窃听的安全协作区域。在此基础上,提出了四种安全功率分配方案:1)峰值功率受限条件下最大化保密和速率功率分配方案;2)总功率受限条件下最大化保密和速率功率分配方案;3)峰值功率受限条件下最大化最小保密速率功率分配方案;4)总功率受限条件下最大化最小保密速率功率分配方案。仿真结果表明,所提功率分配方案能有效提高系统的安全性能,保障主用户数据不被次用户窃听。最大化保密和速率功率分配方案始终能提供最高的保密和速率,但在信道不对称的条件下,具有较弱信道的主用户保密速率被抑制。最大化最小保密速率功率分配方案能够降低不对称信道对较弱信道主用户保密速率的影响。