多用户边缘计算环境下基于深度强化学习的任务卸载技术研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:ljyxq13571302523
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
4G的普及带来了移动互联网时代,联网设备的主力军从个人电脑(Personal Computer,PC)逐渐转变成手机平板等移动终端。随着5G的研究与发展,物联网日益成为下一个时代浪潮,万物互联的时代即将到来。可联网的设备不再局限于手持设备,无人驾驶、智慧城市、智慧家庭、工业制造等各个领域都将蓬勃发展。但是,由于物联网设备自身的限制,它的计算能力和存储能力有限,无法满足许多延迟敏感型应用程序和计算密集型应用程序的需求。如何扩展网络边缘的联网设备的性能成为网络领域的重要挑战。移动边缘计算(Mobile Edge Computing,MEC)的模式被提出,以解决上述问题。在这种计算模式下,计算资源和存储资源被部署在移动网络的边缘,物联网设备可以通过无线信道将任务卸载到具有更强计算能力的边缘服务器上进行计算。物联网设备只需要传输数据,接收结果,解决了自身计算资源不足的问题。在关于边缘计算的所有研究中,任务卸载决策的研究是重要的一环。强化学习能够在线下训练一个智能体,训练后的智能体可以在线进行实时决策,因此特别适合边缘计算场景。已经有一些将深度强化学习应用于边缘计算中的任务卸载的研究,通过合理的计算卸载方案实现减小任务的延迟、能耗等目标。但是很多工作并没有考虑到信道的时变特性,也没有考虑到使用边缘服务器的付费成本问题。对于多用户多服务器的场景,用户之间的决策会相互影响,如何在用户互不通信,无法了解全面信息的情况下单独做好决策也是一个重大挑战。本文的主要工作如下:1.对单边缘服务器多用户场景下的计算卸载问题进行建模,设计了一个综合考虑任务延迟、任务失败率、付费金额的效用函数作为优化目标,提出基于Q learning的中心化卸载算法来求解。为了解决状态空间过大的问题,进一步提出基于深度Q网络(Deep Q-Network,DQN)的计算卸载算法。最后仿真实验显示,在不同的权重参数下,在不同的终端设备数和不同的服务器计算能力下,DQN算法的任务延迟最低,任务失败率最低,总的效用函数值也优于其他对比算法,成功证明算法的有效性。2.对多边缘服务器多用户场景下的计算卸载问题进行建模,以最小化任务的失败率为优化目标,提出综合循环神经网络(Recurrent Neural Network,RNN)和DQN的深度循环Q网络(Deep Recurrent Q-Network,DRQN)算法,每个用户在不与其他用户进行信息交换的情况下独立进行卸载决策。最后仿真实验显示,DRQN算法在不同的终端设备数量、不同的边缘服务器数量、不同的终端计算能力、不同的边缘服务器计算能力下,相比其他算法任务的失败率都是最低,成功证明了DRQN算法的有效性。
其他文献
帕金森病作为中老年人中第二大神经退行性疾病,其病症通常可以分为运动症状和非运动症状,这些症状的出现主要是由大脑中的黑质多巴胺能神经元的死亡造成。随着人口老龄化的加剧,帕金森病患者的数量随年逐增,鉴于目前的帕金森病主要诊断是以临床症状作为主要依据,其确诊和治疗的过程是复杂的,并且在现阶段造成病理改变的原因仍未明确,在临床上需要耗费大量人力物力对疾病进行确诊,这一现状无疑对社会或者个人都造成了一定的负
脑卒中是危害中老年人群生命健康的主要疾病之一,并且现在缺乏对脑卒中疾病有效的治疗手段。临床认为较好的手段是在脑卒中患者病发前,通过前期预防,对行为进行干预,从而减少脑卒中疾病的发作。近年来,深度学习已经得到广泛的应用,其中包括图片、语言、语音等领域,同样在现有的脑卒中预测的研究中,基于深度学习的机器学习方法的性能效果突出。然而,深度学习建立一个良好的模型前提是需要获取大量已标记好的数据。但是,实际
在如今的医疗体系中,医学图像分割技术具备很高的临床应用价值。无论是外科切除手术还是对病灶的定量分析,都需要精确地掌握器官和肿瘤的大小、三维结构和具体位置等重要信息,医学图像分割是提供这些信息的重要手段。近年来,泌尿系统肿瘤的发病率呈逐年上升态势,而膀胱癌和肾癌又是两种高发的泌尿系统肿瘤,因此,研究对膀胱肿瘤图像和肾肿瘤图像的自动分割算法是疾病治疗的实际需求。由于医学图像普遍存在复杂的噪声和伪影,不
并行磁共振成像p MRI(parallel Magnetic Resonance Image)是一种常用的临床检查技术,不同于计算机断层扫描CT(Computed Tomography)、X射线等成像技术,没有电离辐射,对人体没有伤害。p MRI系统利用多个线圈同时接收MRI信号,得到关于目标切片的多线圈k空间数据,将每个线圈的k空间数据经过傅里叶逆变换得到二维空间域图像信息,通过多幅线圈图像合并
近年来,随着物联网技术的迅猛发展,无线终端设备的电池寿命短以及计算能力低等问题日益凸显。最近无线能量传输技术和移动边缘计算技术的发展为这些问题提供了很好的解决方案,基于这些技术的无源边缘计算系统不仅可以实现为无线设备进行远距离持续供能,还能通过边缘服务器分担终端设备的计算任务,提高系统的计算能力。然而,无源边缘计算系统也面临诸多技术挑战,如射频信号路径损耗的“双近邻效应”带来的用户采集能量低、通信
土曲霉是降胆固醇药物洛伐他汀的主要产生菌,它合成洛伐他汀的效率受菌种性能、发酵条件以及发酵过程中菌体的生理生化特征等诸多因素的影响。对土曲霉发酵过程中的菌丝形态与洛伐他汀合成效率的关系、以及组蛋白修饰酶表达效率与洛伐他汀合成效率的关系进行研究,将有助于提高土曲霉合成洛伐他汀的效率,在洛伐他汀的发酵生产中具有重要的应用前景。为研究土曲霉菌丝形态对洛伐他汀合成的影响,本工作使用无菌水稀释种子液降低接种
精准的心脏图像分割在很多疾病的诊断和后续的治疗中有至关重要的作用,比如心脏右心室(RV)的结构和功能与大多数心脏疾病有关,包括肺动脉高压、心肌病、先天性心脏病等疾病。开发右心室的自动分割算法将大大减少放射科医生的日常工作量。鉴于RV结构的形状多变,难以区分内外模与腔的边界等问题,传统半自动分割算法在分割精度上依然有很大的提升空间,而深度学习在医学图像上的成功应用,为RV分割开阔了新的全自动分割算法
随着人工智能技术的快速发展,算法对芯片的算力要求越来越高,摩尔定律的放缓甚至失效让芯片仅仅依靠先进的制造工艺来提升性能已经变得越来越难,伴随人工智能产生的新型计算形式对数据中心服务器的功耗和性能提出了更大的挑战。CPU+FPGA作为一种特殊的异构计算方式,在计算性能、实时性和能效比方面相对于传统计算架构拥有巨大优势。但是传统的FPGA作为外接硬件设备,主要通过PCIe总线接口与中央处理器通信,通常
超高清全景视频的广泛应用需求,对全景视频传输技术提出了挑战。全景视频从球面投影到二维网格平面后,经过压缩生成待传输的视频流文件。相应的,全景视频传输策略的设计需要考虑投影格式的影响。为了提供用户沉浸式体验,超高清全景视频的空间分辨率极高,需要极大的带宽资源。基于分块的全景视频传输方案需要同时考虑空间和质量的自适应调度,以实现带宽资源受限环境下的用户体验最优。本文针对全景视频传输优化的核心问题,在内
近些年来,随着“共享经济”的兴起和共享理念的普及,基于共享居住模式的“共享住宅”得到了快速的发展。虽然,住宅共享的现象由来已久,但如今的“共享住宅”作为对共享时代的一种回应,其本质是通过网络和共享的方式,让信息对等,从而达到解放闲置住房资源,让其充分被利用的目的。同时,“共享住宅”也是对现有住房市场现存问题、居住需求提升、居住方式变化、新技术应用、社会环境改变等要素的一种调节和回应,它对降低住宅空