基于深度强化学习的无人机辅助边缘计算服务质量与安全研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:honeykaka
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着第六代(Sixth Generation,6G)移动通信技术以及物联网技术的飞速发展,移动计算的方式从集中式的移动计算逐渐转变为移动边缘计算(Mobile Edge Computing,MEC)。MEC技术的出现最大限度地减少了端到端延迟,为用户提供了高质量服务,而无人机(Unmanned Aerial Vehicle,UAV)辅助MEC技术的出现,能够在恶劣环境下为用户提供更加灵活和有效的计算服务。一方面,提高UAV辅助MEC网络中任务卸载时的服务质量(Quality of Service,Qo S)是需要迫切解决的问题。另一方面,UAV辅助MEC网络中的安全问题也有待我们进一步研究。此外,人工智能技术作为推动6G技术发展的重要驱动力,在UAV辅助MEC网络中的应用也逐渐增加。因此,本文基于深度强化学习技术对UAV辅助MEC网络中的Qo S问题及安全问题进行研究,主要贡献如下。(1)针对UAV辅助MEC网络中任务卸载时的Qo S问题,提出一种基于双深度Q网络(Double Deep Q Network,DDQN)的算法,优化飞行轨迹和任务卸载方案来提高地面用户的Qo S。首先,建立任务密集场景下的网络模型,其包含多个地面用户和一个搭载MEC服务器的UAV。且系统在毫米波频段工作,UAV和地面用户均配备多输入多输出天线阵列。其次,通过分析定向波束成形中的最大增益和建立相应的路径损耗模型,获得综合波束成形和路径损耗的信道增益模型。并根据服务过程中的卸载任务的数量与延迟定义所要研究的Qo S评价指标,对要解决的Qo S问题进行描述。最后,将问题建模为一个马尔可夫决策过程并定义UAV的状态、动作和奖励函数,提出基于DDQN的Qo S最大化算法。改进的基于DDQN的算法进一步利用了估计网络,解决了基于DQN算法中过高估计的问题。UAV通过所提基于DDQN的算法优化飞行轨迹和任务卸载方案来提高地面用户的Qo S,对比基于DQN的算法和传统算法,仿真结果表明所提算法能够有效提高地面用户的Qo S且降低卸载任务的延迟,此外UAV可以获得很好的三维飞行轨迹。(2)针对UAV辅助MEC网络中UAV为地面用户服务时的安全问题,提出基于竞争-深度Q网络(Dueling-Deep Q Network,Dueling-DQN)的算法优化UAV飞行轨迹来提高地面用户的安全性。首先,建立窃听者存在场景下的网络模型,其包含一个地面用户和一个UAV和一个窃听者,且它们之间均采用短分组通信模型。其次,详述网络中的短分组通信模型,将UAV飞行过程中系统的保密速率进行描述,并提出基于短分组通信的物理层安全问题。最后,将问题建模为一个马尔可夫决策过程,并定义系统的状态、动作,通过保密速率来设计UAV飞行过程中的奖励函数,提出基于Dueling-DQN的保密速率最大化算法。改进的基于Dueling-DQN的算法在深度神经网络中加入了两个价值函数,提高了代理的学习能力。UAV通过所提基于Dueling-DQN的算法来优化飞行轨迹,和基于DQN的算法以及传统算法相比,仿真结果表明UAV能够合理地调整飞行轨迹来避开窃听者,并提高UAV为地面用户服务时的保密速率以保证服务过程的安全。
其他文献
为应对全球贸易“新常态”与“新冠”疫情双重冲击下的中国制造业全球价值链网络脆弱性问题,研究从网络治理视角,选取国内制造业9个行业的1607家企业样本,分析网络距离、网络密度、网络位置三个维度及各维度相互作用对企业开放型技术双元能力的影响。研究发现,全球价值链网络结构对中国制造企业技术创新的主要贡献,在于协调异质性特征网络和开放型技术双元的多维关系:网络距离有效促进了技术探索;网络密度增强了技术应用
期刊
基于嘉兴市设施种植业县(市、区)调研数据,分析嘉兴市设施种植业的发展现状,剖析当前发展面临的困难与问题,并针对性提出对策建议,以期为促进嘉兴市设施种植业高质量发展提供参考。
期刊
文章构建了一种以高岭土负载壳聚糖为净化剂的分散固相萃取-气相色谱法(GC-ECD)检测果蔬中甲氰菊酯、氯菊酯、高效氟氯氰菊酯、异菌脲、氟氰戊菊酯、S-氰戊菊酯、氟胺氰菊酯、溴氰菊酯8种有机氯和菊酯类农药残留。在净化剂用量0.15 g、净化时间3 min、NaCl用量1.5 g的条件下,有机氯和菊酯类农药的线性范围为0.010~0.20μg/mL(R~2>0.999),检出限为4~8μg/kg,回收
期刊
<正>“双减”政策的推进与实施,给小学开展家校协同育人工作带来了新的机遇与挑战。家校协同是什么?做什么?怎么做?笔者结合“双减”落实、日常教育管理以及实地调研情况,进行了相关研究。明职责,强保障,构筑家校协同育人“生态圈”协同教育理论告诉我们,当某一教育系统的要素或信息进入另一教育系统,会与该系统的要素相互联系与作用,产生协同效应,从而影响该教育系统的功能。
期刊
本文描述甜菜(Beta vulgaris L.)大、小孢子发生及其雌、雄配子体的发育,主要结论是:1.小孢子母细胞减数分裂过程中的胞质分裂为同时型。四分孢子为四面体形。2.单核小孢子分裂为营养细胞和生殖细胞时,分裂中期的纺锤体不对称,营养核的形成稍早于生殖核。分裂末期,营养细胞与生殖细胞之间有细胞壁,而后消失。生殖细胞进一步分裂形成2个精子。成熟的花粉粒为3细胞型,营养核有解体的趋势。3.花药壁由
期刊
就业质量的优劣会影响数字经济发展,数字经济发展又对就业质量存在多维影响,二者表现为动态相关关系。通过构建就业质量与数字经济的评价指标体系,基于熵值法进行测算,采用耦合协调模型和空间相关分析探讨数字经济发展与就业质量耦合协调的时空演化特征,并利用灰色预测模型对未来趋势展开预测。研究发现:中国数字经济发展和就业质量存在较强的耦合互动关系,耦合协调发展水平逐年提升,且呈现出显著正向空间相关;目前大部分省
期刊
数字经济驱动河北省制造业绿色创新发展是实现减污降碳、协同增效的关键路径。在总结河北省制造业绿色创新发展现状与堵点的基础上,明确了河北省要走以优化制造业数智供给质量、提升制造业创新能力、强化制造业数智生产效应、延伸制造业数智服务为导向的绿色发展路径。提出了增强高质量发展动力活力,提高制造业绿色制造能力;优化生产性服务业,提升制造业绿色创新效能;深化数字智能技术赋能方式,促进制造业绿色创新发展的策略。
期刊
<正>党的十九大提出了"坚持和加强党的全面领导,坚持党要管党、全面从严治党,以加强党的长期执政能力建设、先进性和纯洁性建设为主线,以党的政治建设为统领,以坚定理想信念宗旨为根基,以调动全党积极性、主动性、创造性为着力点,全面推进党的政治建设、思想建设、组织建设、作风建设、纪律建设,把制度建设贯穿其中,深入推进反腐败斗争,不断提高党的建设质量,把党建设成为始终走在时代前列、人民衷心拥护、勇于自我革命
会议
<正>制造业是实体经济的基础,是国民经济的重要支柱,在稳定经济增长、扩大就业、繁荣市场、促进创新方面发挥着极其重要的作用。新型冠状病毒肺炎疫情的爆发对制造业发展带来较大冲击。习近平总书记强调,要坚持在常态化疫情防控中加快推进生产生活秩序全面恢复。在党中央坚强领导和各方面艰苦努力下,我国疫情防控阶段性成效进一步巩固,复工复产取得重要进展,制造业采购经理指数明显回升。从长期来看,
期刊
目的:评估“桔杏君子颗粒” 治疗新型冠状病毒感染(下文简称新冠感染,COVID-19)恢复期,属于中医气阴两虚证患者的疗效,并分析其组方药物的作用机制。方法:本研究是一项前瞻性、单臂临床试验。该试验共入组121名符合条件的患者,治疗给予桔杏君子颗粒,干预措施疗程为2周,随访4周。主要结果是中医证候疗效指数,次要结果是WHOQOL-Bref量表评分,主症与体征积分变化,胸部CT。结果:桔杏君子颗粒治
期刊