随着无线通信的迅猛发展,我们正逐步迈入万物紧密互联的智能时代,与此同时智能终端的快速增长使得无线频谱资源日益紧张,因此如何利用有效的频谱资源来满足人们更高的通信服务需求已经成为一个亟待解决的问题。非正交多址(NOMA)技术开辟了一个新维度,将不同用户的信息在功率域进行叠加发送,在提升频谱效率的同时保证了较好的性能增益,已成为第五代(5G)移动通信的研究热点。但是由于无线信道具有较高的开放性,使得NOMA通信系统同样面临着严峻的安全问题。鉴于以上原因,本文将致力研究非正交多址通信系统的物理层安全传输技术,并根据不同的通信场景结合多天线技术对系统安全传输性能进行分析与仿真验证,本文的主要成果概括如下:针对多输入单输出非正交多址(MISO-NOMA)系统,本文先后在两种不同的通信场景下对用户及系统的安全性能进行了分析。首先,结合天线选择(TAS)技术研究了独立信道下MISO-NOMA系统中用户以及系统的安全中断性能。接着,不同于以往独立信道的理想假设,本文首次考虑了MISO-NOMA系统中用户信道与窃听信道存在相关关系的情况,并分别推导了近用户与远用户在相关信道下的安全中断概率闭合表达式。仿真结果表明在信道独立和信道相关的两种情况下,TAS技术的使用均可以有效提升用户及系统的安全性能,验证了理论推导的合理性与正确性。针对NOMA中继系统,本文首先对窃听者与基站是否存在直连链路分情况进行了讨论,推导了两种情况下的用户及系统安全中断概率闭合表达式。接着,不同于以往研究中基于完美信道状态信息(CSI)的假设,本文结合TAS技术首次在该系统中研究了发送端只能获得过时CSI情况下的用户及系统安全性能,并在该系统中考虑了一种次优的天线选择方案,推导了该方案下用户及系统的安全中断概率闭合表达式。最后通过仿真分析了窃听者与基站是否存在直连链路对系统安全性能的影响,分析了在该方案下不同延时和天线数目对系统安全性能的影响,验证了提出的天线选择方案及其理论推导的合理性与正确性。