论文部分内容阅读
随着智能网联汽车和移动通信的发展,车辆通信和车联网在生产和生活中越来越普遍,信息安全是重中之重。然而,窃听设备的计算能力不断提升、通信设备的数量不断增加,传统的加密算法具有一定的局限性。物理层安全是传统的加密方案的一种补充技术,近年来是学术界的研究热点。资源分配是物理层安全的分支之一,主要从优化和信号处理的角度,利用资源调度有意地扩展合法信道和窃听信道的差异来提高保密性能。传统的物理层安全资源分配算法通常建模为一个优化问题,在一个计算中心的调度下,为所有用户分配资源。在环境变化迅速的车联网中,有些问题难以建立确切的数学模型。优化问题中保密容量由于其对数减法性质往往是非凸的,很难求得解析解。同时,车辆通信要求极低时延,而集中式的计算中心会产生额外的时延和开销,难以满足车辆通信的时延要求。因此,本文提出了基于强化学习的物理层安全资源分配方法,取得了如下创新性成果:针对传统资源分配算法中时延的优化问题以及优化模型难以求得解析解的问题,本文提出了一种基于深度强化学习的集中式资源分配方法。该方法将基站设计为一个深度强化学习智能体,通过设计合适的状态、动作和奖励,同时优化V2V保密通信的时延和V2I链路的系统保密速率,仿真显示该方法实现了优秀的系统性能。针对集中式资源分配算法中由于计算中心导致的额外时延和开销,本文提出一种基于多智能体强化学习的分布式资源分配方法。该方法将每条V2V链路的发送车辆设计为一个智能体,系统中的每个智能体根据自身的局部观测,自动选择资源块和功率。该方法设计了独特的状态、动作和奖励,解决了多智能体系统中环境的不稳定性,并使分布式的智能体合作提高系统性能。该方法避免了集中式资源分配问题中产生的额外时延和开销,获得了接近单智能体方法的系统性能,保证了车辆通信的保密性和时延要求。