基于混合存储的监控视频云计算平台中数据分布策略研究与应用

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:soaringroc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频监控系统的普及产生了海量的视频数据,分布式处理监控视频数据成为一种趋势。智能视频分析任务具有高的数据读写需求,利用SSD + HDD的混合存储架构构建监控视频离线分布式处理系统十分必要。传统的监控视频离线分布式处理系统大多以节点存储资源数量为约束条件进行数据的优化分布,未考虑集群节点存储介质异构性和视频任务处理过程中节点负载、可用存储资源的动态性,无法保证集群高性能存储媒介SSD的高效利用和节点间的负载均衡,进一步增加了视频任务的处理时间。如何进行监控视频数据的优化分布,实现一个高性能的基于混合存储的监控视频离线分布式处理系统是本文的研究重点。首先,本文在研究当前主流智能视频处理算法的基础上,提出了一种面向监控视频数据块的处理时间预测模型PTPM,该模型综合利用视频数据特征和集群节点的存储、计算能力等,预测视频任务在不同节点上的处理时长。其次,在PTPM模型基础上,提出一种监控视频数据初始分布策略IDDS,该策略利用节点存储介质异构性和节点负载差异性特点,在满足节点存储资源约束条件下,实现最小化集群节点间初始负载差异。同时,基于视频任务分布式处理过程中节点可用存储资源和负载的动态性特点,提出一种视频数据动态迁移策略LADM,通过进行视频数据重分布,降低任务处理阶段节点间的负载差异和进一步提高节点存储资源利用率。最后,本文实现了基于Docker容器技术的验证系统,验证所提出的视频数据初始分布策略和视频数据迁移策略,实验结果表明本文所提出的策略能有效提升SSD的资源利用率,保证集群的负载均衡,大大提高视频任务的处理效率。
其他文献
针对密兴路改建工程火郎峪隧道变形事故,结合粘土围岩特性,对隧道变形段采取临时加固、注浆加固、增设刚拱桥、超前小导管加固等多种方法综合处理。结果表明,采用综合处理方法能
根据铣刨机行走系统的原理和控制功能要求,选择TMS320LF2407A DSP芯片作为行走系统CPU,完成了铣刨机行走控制系统的硬件和软件设计。分析可知,功率自动分配系统应用PID控制策略,
结合中国公路交通现状,为节约自然资源,保护环境,河南高远圣工对冷再生设备技术进行了大量的技术研究工作,GYCBL200型厂拌冷再生设备是高远圣工自主开发研制的沥青路面材料再生利
本文详细介绍了重庆大学舞蹈艺术专业的专业现状,并在此基础上从众多方面探索舞蹈艺术专业的办学特色.
由于旋挖钻机质量大、输出扭矩大,所以对旋挖钻机的主要部件进行力学分析十分重要。针对旋挖钻斗钻进过程、回转机构运动过程和变幅机构变幅过程进行了分析,能为旋挖钻机的设