论文部分内容阅读
随着汽车工业和移动通信技术的高速发展,车联网(IoV)中的视频业务在娱乐、道路安全等方面都将发挥更加重要的作用。由于无线信道条件的动态变化特性和无线频谱资源、计算资源及存储资源的有限性,为车辆提供高质量,低时延和低抖动的视频服务是一个巨大的挑战。本文研究车联网中基于视频业务的频谱资源、计算资源和存储资源的分配问题,以最大化用户的视频体验质量。具体工作如下:(1)本文提出一种车联网中基于直播视频转码和传输的资源分配方案。与现有研究在视频流建模时只考虑视频比特率不同,考虑到不同类型的视频转码需要不同的计算资源,本文将比特率和视频类型都考虑在内。通过联合优化车辆调度,比特率选择,计算和频谱资源分配,以最大程度地提高所有车辆的视频质量,并降低时延和质量抖动。由于IoV中的无线信道和可用资源都具有马尔科夫特性,上述联合优化问题被建模为马尔科夫决策过程(MDP)。本文采用基于最大熵的“Soft Actor-Critic”算法解决此MDP问题。最后,大量仿真结果表明,与其他强化学习(RL)算法相比,该算法在学习效率,探索能力和稳定性等方面都更加出色。(2)本文提出一种车联网中基于可伸缩视频编码(SVC)技术的视频传输方案。可伸缩视频编码(SVC)可以将视频流编码为多个不同比特率的视频层,根据车辆信道质量的动态变化和用户的不同需求,自适应地传输不同比特率的视频,从而提高用户体验。该方案采用路边单元(RSU)的存储功能,通过在RSU端下发高流行度的视频,不仅降低了回程带宽的传输压力,节省频谱资源,还可以减少播放卡顿。将车辆调度,视频层选择和频谱资源分配的联合优化问题建模为MDP。为解决此MDP,本文采用了能够同时处理多维连续动作和离散动作混合的Actor-Critic Deep Reinforcement Learning算法。仿真结果表明,与基于策略梯度算法(PG)和深度Q-learning算法(DQN)的资源分配算法相比,本文所提算法在视频质量、时延、及学习速度等方面有更好的性能。