基于强化学习的空地一体化车联网任务卸载策略研究

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:zliang_1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
车联网(Internet of Vehicles,IoV)作为物联网(Internet of Things,IoT)的延伸,不仅可以为人们提供高效和舒适的驾驶体验,而且能够促使交通业务的多样化。为了获得高可靠性与低时延的车用无线通信技术(Vehicle To Everything,V2X)服务,广泛部署的移动边缘计算(Mobile Edge Computing,MEC)被认为是一个最有潜力的方案之一。MEC作为未来移动通信的核心技术,可在靠近用户端的网络边缘提供计算、存储和通信等功能。高度分布式的计算环境,不仅有效降低了因终端计算能力不足导致的时延及能耗,而且极大的提高了网络的服务质量(Quality of Service,QoS)和用户的体验质量(Quality of Experience,QoE)。然而,仅依靠陆地通信,无法全方位、无死角的为每个车载通信设备提供低传输时延和高可靠性的网络接入服务。目前,以陆地通信网络为基础,结合空中平台的通信方式是解决大容量通信的重要途径。如系留气球、飞机、无人机(Unmanned Aerial Vehicles,UAV)等通信平台,可作为空中基站部署在距离地面几百米到几十千米的高度,增加通信覆盖范围,能够有效利用通信资源提供无线窄带和宽带服务。但是,现有的车载边缘计算优化策略局限于单一或是平均QoS性能指标,无法满足车辆用户的个性化需求,导致不同车辆用户的主观体验差,任务处理时间长、任务处理成功率低等问题。此外,UAV和车辆用户的移动特性为在线优化任务卸载提出了新的挑战。因此,设计一个合理高效的在线任务卸载优化方案,在优化车辆用户QoE性能的同时满足5G高可靠、低时延通信需求十分必要。结合空-地一体化车载边缘计算(Air-Ground Integrated Vehicular Edge Computing,AGI-VEC)场景,本文综合考虑车辆用户在任务处理时的主观感受和客观评价,建立了用户需求感知模型。其次,考虑车辆用户的计算资源有限、车辆通信中的信令开销成本过高以及隐私安全等问题,本文以多臂老虎机(Multi-Armed Bandit,MAB)模型和Lyapunov优化理论等为支撑,提出了一种基于强化学习的用户需求感知上置信区间算法(Learning-based Intent-aware Upper Confidence Bound,LIUCB)。其中,该算法能够有效实现QoE、URLLC约束和轨迹相似度感知。最后,通过仿真与三种对比算法作比较,数据结果表明所提算法在平均QoE性能、端到端时延、排队时延及任务卸载成功率方面有显著提升。
其他文献
能源系统和互联网技术相结合催生出了能源互联网这一概念,为多能互补运行与协调优化提供了可能性。综合能量管理系统主要利用不同能源之间的相互转换实现综合能源系统的协调优化,目前面临着诸多问题与挑战,例如综合能量管理系统的功能需求尚不明确;存在重复开发问题,需要高兼容性平台整合现有功能,打破数据信息壁垒。为解决上述问题,本文研究了基于微服务架构的能源互联网综合能量管理系统,利用微服务架构所具备的服务松耦合
伴随着互联网技术的高速发展,服务计算成为了一个研究热点。而服务计算的基础与支撑技术即为面向服务架构。面向服务架构将一个应用程序中不同的功能模块封装为服务,并为服务定义独立于底层操作系统与硬件的调用接口,从而使得用户能够忽视服务的编程语言、服务部署环境等问题,更为高效地实现用户需求。其中Web服务是实现服务提供商向用户提供可信服务的一种重要技术手段,该技术是综合计算机通讯、应用系统设计与实现、网络信
网格作为一种新兴的互联网技术,其根本目的是对广域计算资源进行聚合以及对广域信息资源进行共享。在开放网格服务体系结构中,强调以服务的形式封装和提供各种资源,而网格的强动态性导致网格服务不断地进行创建和删除,海量的临时性短暂服务与服务请求聚焦在整个网格系统,对服务进行高精度、高响应和高效率发现的难度也在不断上升。传统模式的网格技术常采取集中式的注册中心或聚合目录进行服务资源的注册和发现,但随着时间推移
与访问控制模型相关的安全性问题发现,随着有关人员和组织的更多数据被放入云中,人们对信息安全性问题的关注开始逐渐增长,确切地讲域的安全性。不管围绕云的所有构建如何,努力的客户仍会毫不犹豫地在云中传达其业务。安全性是减少云计算发展的现实问题之一,数据安全性和保险带来的不便一直困扰着市场。许多访问模型都是可访问的,但是这些模型不能满足安全性要求,因为每个服务提供商都必须这样做,并且云计算始终受到黑客的攻
精准的定位与对环境的感知是智能移动机器人正常工作的前提条件,随着研究的深入,SLAM技术应运而生。使用单一传感器对机器人进行定位难以保证其在各种环境下长期稳定工作,越来越多的多传感器融合的定位方案正在被研究与应用。视觉传感器在短时快速运动或无纹理区域易发生特征点的缺失,无法保证良好的特征跟踪和位姿估计性能,惯性测量单元(IMU)能很好的弥补该不足,而视觉传感器信息也恰好能对IMU漂移的影响进行校正
在数字图像编辑中,图像通常由图层构成,图层则用于分离和表示图像的不同部分。图层方便了对图像的操作,例如用户可以增加或删除图层,也可以对图层进行色调的变化、图层的替换等操作,方便实现图像的编辑。然而图像一旦栅格化后,图层就不复存在。在本论文中,图层被定义为颜色近似均质的图像段。论文针对颜色层分解技术进行研究,旨在将给定的图像分解为多个高质量的颜色图层,从而方便图像编辑。论文主要工作有:(1)针对分层
如今软件技术的发展已经十分迅速,软件产品的功能和结构变得越来越复杂,并且软件的迭代周期也越来越短,可是传统的软件开发模式效率不高,不仅需要频繁的重复操作,而且容易积累较多问题,使得产品的发布时间被延迟,于是就需要一种效率更高更方便的软件开发方式。持续集成作为一种高效的敏捷开发实践,已经被广泛的使用,持续集成通过频繁的获取最新的代码并且进行构建,帮助开发人员及时的发现开发中出现的问题,从而保证开发项
随着信息技术的迅猛发展以及大数据时代的到来,数据挖掘技术得到了极大的促进与发展。然而,在训练数据挖掘模型的过程中可能会涉及到用户的个人信息,对这些数据的不当使用容易带来严重的隐私泄露问题,对个人乃至社会造成不良的影响,同时也极大的阻碍了数据的共享和挖掘技术的发展。目前,具有隐私保护的数据挖掘算法成为了一个热门的研究方向,其核心任务在于如何平衡隐私保护和模型准确性之间的矛盾。差分隐私技术提供了一种具
随着嵌入式系统技术的日益成熟,处理器的运算能力越来越强大,运算速度越来越快,人们对于嵌入式系统的应用也越来越多。但是在许多工业应用中,对于所使用工具的安全性和可靠性有极高的要求,一般的嵌入式操作系统,如Linux,安卓等还不能满足工业级别的安全要求,这就对既能够达到工业级安全认证要求,又可以快速运算的嵌入式系统产生了迫切的需求。本文所阐述的是一款同时拥有IEC 61508安全完整性三级认证(SIL
离散纵标法(SN)是常用的确定论屏蔽计算方法之一,空间网格划分对于SN方法求解粒子输运问题的计算精度至关重要。复杂屏蔽模型存在强非均匀效应,要求不同区域的几何描述精度不同。采用传统笛卡尔直角网格进行全局均匀细分往往会引入难以承受的计算成本,对输运计算效率和计算机存储提出挑战。本课题针对大尺寸复杂屏蔽问题,基于SN方法研究非均匀间断网格并行输运扫描算法,并采用角度多重网格加速方法进一步提高并行计算效