作为满足2020年以后急速增长的通信业务需求而发展起来的5G通信,在数据传输速率、资源利用率、无线覆盖性能、用户体验等方面较4G系统得到显著提高。然而无线信道的开放性、广播性、终端的移动性、网络拓扑结构的多样性及无线传输的不稳定性使得5G智能移动通信网络面临着更多的安全威胁。随着并行计算、高速计算机等技术的飞速发展,依赖于计算受限的传统通信系统安全机制需要共享越来越长的密钥,使得无线接入阶段的密钥分发需要很长的时延,上层计算复杂度也越来越大,如果密钥一旦泄露或被破解,整个系统的安全体系将会彻底崩溃。5G通信系统轻重量、快速接入、异构网络的要求使得仅依靠上层基于计算安全的措施已经不能满足实际安全需求,物理层安全新技术为5G通信系统所关注,物理层安全是基于统计的安全,虽然随机特性使得其不可能破解,但其系统复杂度高,以牺牲系统传输效率为代价,严重依赖噪声环境的特性使物理层安全技术不能保证概率为1的安全性能。本文从上述研究背景出发,针对LTE系统中MIMO-OFDM关键技术,提出将物理层安全技术与传统密码技术相结合实现通信系统跨层安全传输,方案既考虑到通信系统的可靠性又要保证新的安全机制具有更高的安全性能。MIMO跨层安全传输系统中,变形码集的设计是研究的关键。首先,本文开展了基于OSTBC变形码集的研究,提出了一种适用于多天线OSTBC变形码集设计方案,仿真结果表明该变形码集用于跨层安全传输系统中可以实现最佳的通信安全性能。其次,本文根据STTC编码的特点设计一种变形码集,在上层密钥流的控制下,该STTC变形码集可以使窃听者以100%的误帧率接收信息。然后,本文针对MIMO中的预编码技术,提出一种基于旋转预编码矩阵180o的跨层安全通信方案,其不受信道特性局限,物理层信号设计简单,可以实现窃听者概率为1的安全通信。最后,本文详细讨论了OFDM加密跨层安全传输技术,研究表明提出的OFDM跨层加密系统能提供比传统加密系统更强的安全性能,尤其是高阶调制或部分密钥泄露仍然能为通信系统提供很高的安全保护。本文所提方案可以用于4G,便于5G与4G系统的兼容,在不大幅增加系统额外开销的同时新的安全机制有更高的安全性能,兼顾了通信系统可靠性与安全性。