随着经济和社会的发展,人们一方面对通信的需求量不断增加,使得通信数据量呈指数式增长,无线业务更加多样性,海量的终端接入网络,另一方面,也对信息传输的安全性要求愈来愈高。无线通信可以很好地满足人们对日益增长地通信量需求,但由于其本身具有的开放性和广播性,使得信息传输极易遭受非法窃听者的窃听和干扰。现如今,第五代移动通信相关技术日渐成熟,非法窃听技术也随之发展,这对无线通信的安全性造成了极大的威胁,因此通信的安全性研究仍需进一步进行深入研究。通过利用无线信道动态变化的特性,如衰落、噪声、干扰和分集等,实现物理层安全通信已被认为是一种能够实现绝对安全通信的有效手段。本文针对协作网络的物理层安全问题,基于中继协作和协作干扰技术,分别研究了在存在自适应窃听者下多中继网络和非正交多址接入（Non-orthogonal Multiple Access,NOMA）网络的通信安全性问题。主要研究包括以下两个方面:1.对有自适应窃听下的多中继网络进行了系统建模和性能分析。我们对多中继网络进行了方案设计,提出了最优中继选择策略,通过中继协作和协作干扰技术有效提升了无线系统的安全性能,推导出该方案下的安全中断概率（Secrecy Outage probability,SOP）的表达式。结果表明,最优中继选择方案可以有效提升系统性能。2.进一步利用了协作通信,研究了存在自适应窃听者下NOMA网络的系统模型,设计了一种新型的两阶段用户协作方案,使用户之间的公平性和系统整体安全性能得到有效提升。目前,全双工技术一般用于提高频谱资源利用率以及用户数据吞吐量等方面,本方案设计将全双工结合预编码矩阵用于干扰窃听,可在不干扰合法用户下有效降低窃听者窃听质量。第一阶段,NOMA网络中的远用户采用全双工技术（full-duplex,FD）干扰智能窃听者。第二阶段,近端用户可作为一个中继协助源节点转发远用户信号信息,并在接收端采用串行干扰消除（Successive Interference Cancellation,SIC）技术进行解码。考虑到系统中不同用户的信息接收速率与通信需求不同之间的相关性,分别推导了遍历安全容量和遍历容量的解析表达式,同时分析了功率分配因子和用户间协作发射功率等因素对性能的影响。本文采用了NOMA技术、协作通信、中继选择、协作干扰、SIC等多种技术研究了在存在自适应窃听者下通信的物理层安全,并针对多个不同的通信场景进行建模和分析,为未来移动通信系统的设计提供了有效的参考价值。