基于深度强化学习的全景视频传输优化

来源 :深圳大学 | 被引量 : 0次 | 上传用户:baobeidjlj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超高清全景视频的广泛应用需求,对全景视频传输技术提出了挑战。全景视频从球面投影到二维网格平面后,经过压缩生成待传输的视频流文件。相应的,全景视频传输策略的设计需要考虑投影格式的影响。为了提供用户沉浸式体验,超高清全景视频的空间分辨率极高,需要极大的带宽资源。基于分块的全景视频传输方案需要同时考虑空间和质量的自适应调度,以实现带宽资源受限环境下的用户体验最优。本文针对全景视频传输优化的核心问题,在内容制作和传输过程等方面基于深度强化学习提出了三个解决方案。(1)立方体投影方式常用于投影全景视频。然而默认的立方体投影方法,未能有效考虑前景对象的分布,导致部分前景对象跨越多个投影平面,存在明显的失真。为了解决上述问题,本文提出一种基于深度Q学习(Deep Q-Learning,DQL)的全景图像内容自适应立方体投影方法,通过分析前景对象的分布,在有限次迭代中快速地预测水平旋转角度,优化立方体投影结果。实验结果表明,相比已有的投影优化方法,文中提出的方法有效降低前景对象的失真程度。(2)针对全景视频传输过程的优化,本文提出一种应用于单用户点播场景的全景视频传输方案,该方案采用基础层和增强层的协作传输方式,为用户视口内传输高码率的图块和为用户视口外覆盖低码率的基础块。方案执行时采用视口预测算法准确预测未来数秒内用户视口,又称预测视口;然后使用基于异步优势执行者-评论者算法(Asynchronous Advantage Actor-Critic,A3C)的码率自适应算法选择预测视口内图块的码率,以及动态缩减图块的预取时间以提高视口预测算法的准确率。实验结果证明,在单用户点播场景中,该方案能够在整个传输过程中获得更高的用户质量体验。(3)为了在多用户点播场景中同时优化多用户的观看体验,基于上述方案,本文提出一种应用于多用户点播场景的全景视频传输方案,方案的核心是在内容分发网络的边缘设备(例如基站)中添加边缘计算以及边缘缓存能力。基站使用请求队列收集和整理不同用户的全景视频请求,分析带宽和边缘缓存等因素,使用基于A3C的全局码率算法分配多个用户视口内图块的码率。边缘缓存用于短时间存储频繁使用的图块,便于重复调用。为了进一步高效利用边缘缓存,本文提出一种与视口相关的优化置换算法,有效提高图块置换效率。实验结果证明在多用户场景中,该方案能够在服务端下行带宽不变的前提下,为所有用户提供高质量的沉浸式体验,降低服务端吞吐压力。
其他文献
帕金森病是世界上最常见的神经退行性疾病之一,该病患者通常会出现多种非运动症状(抑郁、嗜睡、嗅觉和认知障碍)和运动症状。这些症状是由中脑黑质多巴胺能神经元变性死亡引起的,尽管这种病理改变不可逆,且帕金森病到目前为止尚无法根治,但针对帕金森病的纵向分析如早期诊断和临床评分预测(抑郁、嗜睡、嗅觉和认知障碍)可以使患者尽早地确认病情并得到及时的治疗,这对改善患者生活质量和延缓疾病的恶化十分重要。目前帕金森
本选题的研究背景立足于深圳这一超大城市,其独特的城市背景、滨海的自然地理条件、区别于内陆的文化传统,使得这一区域的传统村落形成其典型的特色。由于这些传统村落往往位于城市和乡村的中间过渡区域,随着深圳城市的快速发展和向外辐射扩张,这些传统村落不得不接受快速城市化的冲击和影响,经历着原有生活、生产方式与现代文明的激烈碰撞,与城市的关系并非主动融入而是被动裹挟,故其保护和更新面临着特殊的考验。此外,从政
帕金森病作为中老年人中第二大神经退行性疾病,其病症通常可以分为运动症状和非运动症状,这些症状的出现主要是由大脑中的黑质多巴胺能神经元的死亡造成。随着人口老龄化的加剧,帕金森病患者的数量随年逐增,鉴于目前的帕金森病主要诊断是以临床症状作为主要依据,其确诊和治疗的过程是复杂的,并且在现阶段造成病理改变的原因仍未明确,在临床上需要耗费大量人力物力对疾病进行确诊,这一现状无疑对社会或者个人都造成了一定的负
脑卒中是危害中老年人群生命健康的主要疾病之一,并且现在缺乏对脑卒中疾病有效的治疗手段。临床认为较好的手段是在脑卒中患者病发前,通过前期预防,对行为进行干预,从而减少脑卒中疾病的发作。近年来,深度学习已经得到广泛的应用,其中包括图片、语言、语音等领域,同样在现有的脑卒中预测的研究中,基于深度学习的机器学习方法的性能效果突出。然而,深度学习建立一个良好的模型前提是需要获取大量已标记好的数据。但是,实际
在如今的医疗体系中,医学图像分割技术具备很高的临床应用价值。无论是外科切除手术还是对病灶的定量分析,都需要精确地掌握器官和肿瘤的大小、三维结构和具体位置等重要信息,医学图像分割是提供这些信息的重要手段。近年来,泌尿系统肿瘤的发病率呈逐年上升态势,而膀胱癌和肾癌又是两种高发的泌尿系统肿瘤,因此,研究对膀胱肿瘤图像和肾肿瘤图像的自动分割算法是疾病治疗的实际需求。由于医学图像普遍存在复杂的噪声和伪影,不
并行磁共振成像p MRI(parallel Magnetic Resonance Image)是一种常用的临床检查技术,不同于计算机断层扫描CT(Computed Tomography)、X射线等成像技术,没有电离辐射,对人体没有伤害。p MRI系统利用多个线圈同时接收MRI信号,得到关于目标切片的多线圈k空间数据,将每个线圈的k空间数据经过傅里叶逆变换得到二维空间域图像信息,通过多幅线圈图像合并
近年来,随着物联网技术的迅猛发展,无线终端设备的电池寿命短以及计算能力低等问题日益凸显。最近无线能量传输技术和移动边缘计算技术的发展为这些问题提供了很好的解决方案,基于这些技术的无源边缘计算系统不仅可以实现为无线设备进行远距离持续供能,还能通过边缘服务器分担终端设备的计算任务,提高系统的计算能力。然而,无源边缘计算系统也面临诸多技术挑战,如射频信号路径损耗的“双近邻效应”带来的用户采集能量低、通信
土曲霉是降胆固醇药物洛伐他汀的主要产生菌,它合成洛伐他汀的效率受菌种性能、发酵条件以及发酵过程中菌体的生理生化特征等诸多因素的影响。对土曲霉发酵过程中的菌丝形态与洛伐他汀合成效率的关系、以及组蛋白修饰酶表达效率与洛伐他汀合成效率的关系进行研究,将有助于提高土曲霉合成洛伐他汀的效率,在洛伐他汀的发酵生产中具有重要的应用前景。为研究土曲霉菌丝形态对洛伐他汀合成的影响,本工作使用无菌水稀释种子液降低接种
精准的心脏图像分割在很多疾病的诊断和后续的治疗中有至关重要的作用,比如心脏右心室(RV)的结构和功能与大多数心脏疾病有关,包括肺动脉高压、心肌病、先天性心脏病等疾病。开发右心室的自动分割算法将大大减少放射科医生的日常工作量。鉴于RV结构的形状多变,难以区分内外模与腔的边界等问题,传统半自动分割算法在分割精度上依然有很大的提升空间,而深度学习在医学图像上的成功应用,为RV分割开阔了新的全自动分割算法
随着人工智能技术的快速发展,算法对芯片的算力要求越来越高,摩尔定律的放缓甚至失效让芯片仅仅依靠先进的制造工艺来提升性能已经变得越来越难,伴随人工智能产生的新型计算形式对数据中心服务器的功耗和性能提出了更大的挑战。CPU+FPGA作为一种特殊的异构计算方式,在计算性能、实时性和能效比方面相对于传统计算架构拥有巨大优势。但是传统的FPGA作为外接硬件设备,主要通过PCIe总线接口与中央处理器通信,通常