多源监控视频中车辆对象编码方法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:aniu88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着“平安中国”建设的不断推进,全国典型示范城市的监控视频数据存储规模均已达到PB级别,监控视频数据总量的增长速度已经远远超过视频编码效率提升的速度。为了降低监控视频的存储代价,亟需研究高效的监控视频编码方法。城市监控网络中摄像机主要针对安防三要素“人、车、物”进行拍摄,相比于静态背景,动态前景对象的压缩编码更具潜力与挑战,尤其是车辆对象的编码。运动对象在城域空间被各摄像机反复摄录,拍摄得到的视频集合称之为多源监控视频。同一运动对象在不同时间、不同地点产生的对象数据具有较高相似性,形成的数据冗余称之为运动对象冗余。随着时间与空间推移,视频中的运动对象数量急剧增加,海量对象的运动将产生大量运动对象冗余,成为多源监控视频中冗余的主要构成部分,去除运动对象冗余是实现多源监控视频高效压缩的关键。运动对象冗余不仅存在于单段视频中还分布在包含该对象的不同视频之间,兼具全局与局部特性,现有的面向单源与多源视频编码方法缺乏有机融合,难以有效去除运动对象冗余。借鉴融合编码的思想,从全局与局部两个方面对运动对象进行预测,并融合生成合成参考帧,用以作为运动对象编码时的参考这一思路为运动对象冗余的去除提供了新的契机,但同时也面临以下几个方面的挑战。
  在运动对象的全局冗余去除方面,现有的方法通常采用基于特征的预测,通过特征匹配的方法建立不同视频间对象的关联关系,从而确定预测结构。然而,该方法对于拍摄重叠度要求较高,对于遵循欠覆盖布设原则的多源监控视频而言,拍摄区域几乎不重叠,对象在不同视频下姿态多样,经常出现匹配特征过少甚至没有匹配特征的情况,导致基于特征的预测模型失效。
  在运动对象的局部冗余去除方面,现有的方法通常采用二维平面上的运动补偿技术搜索相邻帧中最为相似的区域作为当前对象区域的预测值。然而,在真实世界中,对象在三维空间中运动,仅使用二维平面上的平移运动对三维运动建模精度不高,在运动复杂的情况下,如存在三维旋转、缩放等的场景中,难以找到最优匹配区域,导致预测精度急剧降低。
  在参考帧融合方面,现有的图像融合方法通常面向图像增强任务,将图像通过变换分解到不同频段,在某个频段上根据一定的准则融合不同图像内容,这一类任务旨在获得更好的主观视觉质量。对于视频编码任务而言,为了减少预测残差,提升编码效率,我们希望融合后得到的参考帧能尽可能与待编码视频帧相似。然而,现有的图像融合方法未考虑融合图像与目标图像之间的相似性约束,导致融合图像与目标图像存在较大差异,使用其作为参考帧将产生大量预测残差。
  针对上述难点问题,本文对多源监控视频高效编码方法展开研究并取得了如下创新成果。
  (1)基于知识表达的对象全局预测方法
  针对非重叠拍摄视频之间对象外观与姿态多变,导致其像素分布差异较大、缺乏匹配特征,难以建立对象预测关系的问题,本文研究对象的层次化知识提取方法,提出使用强时空一致性的高层知识表达对象,构建基于知识表达的对象全局预测模型,通过共性知识关联视频间对象,挖掘对象跨视频相似性,提升预测模型的全局冗余去除性能。实验结果表明,提出方法在对象姿态变化剧烈、受环境影响外观差异较大的情况下仍有较好的性能,在模拟监控视频数据集上相较于基于特征的预测方法以及HEVC帧间预测方法预测误差分别降低了8.18%与16.34%。
  (2)基于三维变换的对象局部预测方法
  针对复杂情况下二维平移模型难以表达对象三维旋转、缩放等运动,导致预测精度急剧降低的问题,本文提出基于三维变换的对象局部预测模型,使用透视变换模型刻画对象真实运动,提升预测模型的局部冗余去除性能。同时,借助对象三维模型将透视变换模型参数估计问题转化为两次参数已知的透视投影过程,简化模型参数求解过程,使复杂高阶运动模型应用于预测成为可能。实验结果表明,提出的局部预测模型在大多数场景下具有良好的预测性能,可高效去除局部性冗余,在模拟监控视频数据集上相较于基于仿射变换的预测方法以及HEVC帧间预测方法预测误差分别降低了11.11%与21.17%。
  (3)内容自适应的参考帧融合方法
  针对面向视觉质量的融合方法缺乏相似性约束导致融合图像与待编码视频帧差异过大,难以用作参考的问题,本文在融合过程中采用融合图像与待编码视频帧之间的绝对误差作为约束最小化二者的差异,使融合参考帧适用于编码任务。此外,本文分析全局参考帧与局部参考帧的特点,构建内容先验约束指导参考帧融合过程,进一步提升参考帧融合精度。实验结果表明,提出方法的性能在主观与客观两个方面均优于对比方法。提出的参考帧融合网络相较于现有的图像融合网络而言,其融合结果具有更高的质量,与目标图像色彩更加接近,同时还保有更清晰的边缘轮廓等结构信息。
  (4)基于融合参考的多源监控视频编码方法
  在上述方法研究的基础上,本文搭建了基于融合参考的多源监控视频编解码框架,以去除运动对象冗余,实现多源监控视频高效编码。同时,本文还提出基于运动推理的率失真估计方法以及基于率失真代价的参考帧队列管理方法,优化整体编码性能。实验结果表明,提出的编码框架在模拟环境、简单场景以及复杂真实场景下的编码效率均高于对比方法。该编码框架可有效去除运动对象冗余,实现高效的多源监控视频编码。
  综上所述,本文围绕多源监控视频中运动对象冗余的去除展开研究,提出了新的全局与局部预测模型,并结合二者的优点,搭建了基于融合参考的多源监控视频编码框架,为复合型冗余的产生机理与去除方法研究提供了理论和技术支撑。
其他文献
随着全球化趋势的不断推进,各国越来越重视外宣材料的重要性。随着中国国际地位的不断提高,世界各国的人希望通过各种渠道了解我们国家的政治、经济、历史、文化和当前的发展状况。每年发布的《政府工作报告》就是其了解中国的非常重要的手段之一。《政府工作报告》的翻译质量,既影响外国人对中国详实准确的了解,也关乎中国的国际形象。因此,《政府工作报告》的可读性、接受度应成为评判《政府工作报告》的重要评价标准。  本
在传统的翻译理论中,译者长期处于边缘化的地位。近年来,随着“文化转向”的出现,译者作为翻译活动中最活跃的因素,其主体性在翻译研究中彰显并逐渐成为研究热点。目的论的出现为研究译者主体性提供了理论支持。目的论认为翻译目的决定翻译行为,结果决定方法。译者要根据翻译目的采取相对应的翻译策略,而翻译目的无疑在很大程度上决定了译者主体性的发挥。  《三体》于2015年获得国际最高科幻奖项“雨果奖”,其英译本在
学位
在全球化大背景下,外宣翻译作为沟通中外的桥梁发挥着越来越重要的作用,外宣翻译研究因此也受到了广泛关注,翻译水平得到了长足的提高。政府白皮书属于外宣文献的重要一种,而国防白皮书作为军事外宣文献也涵盖其中。近年来,国际社会对于中国的军力发展给予了高度关注,中国国防白皮书的发表对于及时回应外界关切具有重要意义。虽然国防白皮书意义重大,但由于其出现于1998年,对其的研究历史非常短暂,又因国防白皮书专业性
文化作为软实力的重要组成部分,在构建国家形象、增强民族自豪感方面发挥着重要作用。译者作为民族文化传承的桥梁,在文化传播过程中所起的作用是至关重要的。作为翻译的主体,译者却一直在多元文化体系中处于边缘地位。  本文以乔治·斯坦纳阐释学为理论指导,对比分析许渊冲、唐一鹤两英译本中唐诗文化负载词翻译的差异性,探究译者主体性的作用。阐释活动由“信任”开始。二位译者为唐诗的翻译付出了巨大的精力和心血。译者的
学位
为明确不同施钾量对淀粉型甘薯淀粉含量的调控效应及其与光合特性的关系,选取徐薯18和商薯19这2个淀粉型甘薯代表品种布设2年田间试验,设CK(不施肥)、K_0(不施钾肥)、K_(75)(施K_2O 75 kg/hm~2)、K_(150)(施K_2O 150 kg/hm~2)和K_(225)(施K_2O 225 kg/hm~2)5个处理,研究施钾量对甘薯淀粉产量和淀粉含量等的影响,利用逐步回归分析等方
行业背景国家、地方政策双轮驱动,强制性标准逐步完善,新能源汽车财政补贴继续延长,持续推动新能源汽车发展浪潮。中国原油对外依存度超70%,远超50%的国际警戒线,替代能源的重要性与日俱增。新能源汽车"三电"技术基本成熟,续航里程和电池组能量逐步提升。行业现状新能源汽车保有量持续上升,市场处于较快发展阶段。按照国家规划的发展愿景,2025年新能源汽车销量有望突破500万。由于核心零部件的研发与车企逐渐
会议
棉花是一种重要的经济作物,但一些棉花种植区盐渍化程度较高。棉花受到盐胁迫会导致其光合作用和呼吸作用减弱,从而影响棉纤维的产量和质量,因此关于棉花的耐盐性研究十分重要。目前除了通过驯化或基因工程来增强植物耐盐性,研究表明表观遗传也可以参与植物响应盐胁迫的途径中。组蛋白乙酰化是表观遗传调控中组蛋白修饰之一,最近研究表明组蛋白乙酰化的调控在植物响应盐胁迫中起着关键的作用。组蛋白去乙酰化酶(HDAC)可以
学位
器官大小是植物重要的性状之一,探究器官发育分子机制也是一个重要的发育生物学问题。植物器官的大小受到细胞分裂和细胞扩展的调控,在细胞分裂和细胞扩展的过程中,又常常伴随着核内复制。核内复制水平能调控植物器官大小,但是目前核内复制调控植物器官大小的分子机制了解的比较少。在之前报道的研究中,发现DA3基因编码拟南芥中的去泛素化酶UBP14(UBIQUITIN-SPECIFIC PROTEASE14),它是
学位
化石燃料在全球范围内被广泛应用,然而化石燃料在自然界的储存是有限的,并且在燃烧过程中,释放大量的有害气体,危害人类健康,还会造成温室效应。由于化石燃料的枯竭而导致的能源危机以及原油产业经济波动的问题逐渐变得严峻,因此需要找到其它替代品来满足日益增加的能源需求。清洁能源的生产一直是人类面临的挑战,从上个世纪以来,许多研究围绕风能、地热能、太阳能与生物质能源,与其它能源相比,生物质能源引起了人们的极大
学位
本论文对以数字信号处理器(DSP)为控制核心的开关磁阻电动机控制系统进行了研究,得出基于有位置传感器检测的控制方案。概述了SRD系统发展过程、发展方向,以及SRD系统的基本结构、工作原理和特点;详细论述了一种H型功率变换器的工作原理和一种新的开关控制模式;以TI的DSP为核心的控制系统硬件设计,针对SR电机的控制特点,充分利用了DSP的硬件资源,设计了相应的外围硬件检测、保护、控制及人机接口电路,