论文部分内容阅读
视频监控系统的普及产生了海量的视频数据,分布式处理监控视频数据成为一种趋势。智能视频分析任务具有高的数据读写需求,利用SSD + HDD的混合存储架构构建监控视频离线分布式处理系统十分必要。传统的监控视频离线分布式处理系统大多以节点存储资源数量为约束条件进行数据的优化分布,未考虑集群节点存储介质异构性和视频任务处理过程中节点负载、可用存储资源的动态性,无法保证集群高性能存储媒介SSD的高效利用和节点间的负载均衡,进一步增加了视频任务的处理时间。如何进行监控视频数据的优化分布,实现一个高性能的基于混合存储的监控视频离线分布式处理系统是本文的研究重点。首先,本文在研究当前主流智能视频处理算法的基础上,提出了一种面向监控视频数据块的处理时间预测模型PTPM,该模型综合利用视频数据特征和集群节点的存储、计算能力等,预测视频任务在不同节点上的处理时长。其次,在PTPM模型基础上,提出一种监控视频数据初始分布策略IDDS,该策略利用节点存储介质异构性和节点负载差异性特点,在满足节点存储资源约束条件下,实现最小化集群节点间初始负载差异。同时,基于视频任务分布式处理过程中节点可用存储资源和负载的动态性特点,提出一种视频数据动态迁移策略LADM,通过进行视频数据重分布,降低任务处理阶段节点间的负载差异和进一步提高节点存储资源利用率。最后,本文实现了基于Docker容器技术的验证系统,验证所提出的视频数据初始分布策略和视频数据迁移策略,实验结果表明本文所提出的策略能有效提升SSD的资源利用率,保证集群的负载均衡,大大提高视频任务的处理效率。