视频分割的稳定性研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:fr20899
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频分割方法对于众多计算机视觉任务非常重要,尤其是在影音娱乐的视频交互应用中。基于深度学习的视频分割方法在测试数据集上显示出比传统方法更高的准确性,但在大多数实际应用中为了自动校正抖动伪像,而付出了更多的时间成本,此外高质量且具有完整标注的视频序列和大规模复杂环境的视频数据集都十分稀缺。本文研究了这种抖动伪影如何降低视频分割结果的视觉质量,发现以神经网络学习为主的算法受到标注质量的影响更大,人工在图像边缘标注的局限性导致了最终的掩膜抖动风险。本文研究了视频分割的稳定性问题,并针对性地设计了相关的算法,具体工作和贡献如下:为了避免依赖昂贵的人工标注真值,本文首先在仅有图像和字幕描述的样本中,针对文本描述中反映的图像显著目标进行准确的分割。为此,本文提出了文本图像匹配模型,将不同模态的信息映射到高纬度的特征空间中进行深度的匹配训练。然而文本信息所能表达的显著目标细节有限,为了提升目标检测的准确度,本文提出了循环微调模型,在不依赖真值标注的情况下,采用自训练的方法将图像文本匹配模型反映出的图像显著目标先验作为伪真值,反馈给循环微调网络来关注某些局部区域,并逐步产生高分辨率的预测结果。实验表明,相比于无监督、弱监督的方法,本文提出的基于文本描述的图像显著目标检测方法在多个数据集上的分割准确度提升了大约25%,处理速度提升近1倍达到了72帧每秒的图像处理速度,且与全监督方法的分割准确度仅有5%的差距。为了改善视频分割算法产生的抖动伪影,本文研究了视觉抖动问题产生的根本原因以及相关的现状分析,提出了新的数字指标稳定率来明确地测量了视频分割结果的时序一致性。为了进行系统化的验证,本文还提出了一个大型视频人像数据集VHS,为促进视频分割任务的进一步研究。为了解决实际分割效果中的抖动伪影,本文提出的在线一致性匹配学习策略可以巧妙地利用未标记的视频来增强视频分割中的时序稳定性。该策略通过使用提出的一致性监督,来对齐前后边缘区域在时序上的分割一致性,并强化整体匹配像素对在时序运动中的预测置信度,实现无监督下视频分割结果的连贯性。由于本文提出的视频分割稳定性的通用框架可以在与现有的视频分割模型配合使用,在不增加额外预测成本的情况下实现视频分割任务在分割准确度和视觉稳定性中的统一。而且本文提出的算法在不同视频分割任务中用0.3%的相对准确度损失换取了5倍的稳定性提升,在多个真实样例中具有相当震撼的视觉效果。
其他文献
随着工业互联网的应用越来越广泛,其安全问题也开始逐步受到重视,在攻击者之前发现其存在的潜在安全隐患是十分重要的。模糊测试是一种常用且简单高效的漏洞检测工具,目前在工业互联网漏洞挖掘中也应用广泛。在传统的协议模糊测试方法中,生成测试用例需要花费大量人力和时间来对协议规范进行分析,且随着协议的改变,生成方法将不具备通用性。因此需要设计一种能降低协议分析成本且能得到较好测试效果的模糊测试方法。近年来随着
石油炼化行业是我国重点耗能产业,随着人们需求的增加,生产规模不断扩大,能源需求量随之提高,节能降耗成为当下工作的重点。常减压装置在炼油过程中能耗占比最大,且负责重点产品的产出,其能效水平直接关系到能源的利用效率和企业的经济效益,因此面向常减压装置进行能效评估和能效优化的研究具有重要意义。本文以国家863项目“面向石化工业能效监测评估及优化控制技术与系统”为背景,针对常减压装置单位综合能耗产出量这一
网络在信息化的社会中已经拥有不可取代的地位,然而频发的网络安全问题也不可被忽视,与教学和生活息息相关的校园网也是如此。出口带宽限制、威胁事件突发等问题都会带来严重的后果。防火墙的部署能够有效管理网络,其产生的日志中包含各种信息,分析这些数据能够及时了解网络状态。然而防火墙等网络设备产生的日志数量增长过快,如何高效地完成对海量日志数据的处理,又是一个亟待解决的难题。基于以上的问题和需求,本文以防火墙
铝电解电容器是寿命敏感器件,随着时间的推移,其参数退化到一定程度时,必然会影响电路板的寿命,故而研究其退化规律与寿命特征是至关重要的。文章从铝电解电容器结构和退化机理出发,将温度作为加速敏感应力设计了加速退化试验,并采用加速退化数据进行寿命预测,给出了延长铝电解电容器使用寿命的正向设计方向;从状态修的需求出发,提出了基于BP神经网络的铝电解电容器剩余寿命预测方法,其预测数据来源既可以是现场实测数据
显著性目标检测对于图像理解的进步至关重要,并且已在各种计算机视觉和图像处理任务中展现出巨大的潜力。现有的显著性目标检测算法根据输入图像类型可以分为RGB、RGB-D和光场方法三类。不同于RGB数据,RGB-D和光场数据通过深度图、多视角图和焦点堆栈提供了场景的精确几何信息,如此丰富的几何信息可以为显著性目标检测在挑战性场景下提供有效的显著性特征。然而,显著性目标检测作为许多任务的预处理步骤,要求高
随着数据规模和计算资源的快速增长,机器学习在理论和实践两方面都取得了长足进展。传统机器学习算法需要大量的标注数据用于训练,然而在诸多实际应用中获取大量标注数据的代价非常高。此外,传统机器学习算法通常依赖于训练数据和测试数据服从独立同分布这一假设,然而在实际应用中上述假设往往难以成立。域适应放宽了这一假设,能够从具有丰富标签数据的相关领域进行知识迁移与复用,是解决目标任务标注数据稀缺的一种基础方法。
图像文本匹配在连接视觉和语言方面起着至关重要的作用。目前的一部分先进方法试图通过丰富的特征编码推断更有视觉语义性的全局对齐信息;而另一部分模型通过采用跨模态的注意力单元来捕捉区域和单词之间的潜在局部对应关系,然后将所有的对齐信息整合得到最终的相似度。无论是开发图像和文本之间的全局对齐,还是探索区域和单词之间的细粒度对应关系,都取得了令人印象深刻的成功。然而,这些工作都面临两个亟需解决的问题。首先,
随着社会经济和科技的发展,越来越多的监控摄像头被安装在社会的各个角落,这些摄像头在维护社会治安方面起到了巨大作用。然而很多时候如何高效地利用好这些数据却是一项十分艰巨的任务,使用科技手段以减少人力是一个很自然的选择。因此,针对自动跟踪并关联多个摄像头下面多个行人技术的研究有着十分重要的现实意义,该技术被称为多摄像头多行人跟踪。多摄像头多行人跟踪是一个复杂的任务,该技术可以对不同摄像头下面的多个行人
基于深度学习的三维目标检测方法需要大规模的标注数据才能达到良好的性能,而三维框的标注需要标注者在不完整的2.5D稀疏点云下,凭经验不断调整其边界,标注难度大且容易引入标注误差。为了解决标注难问题,本文对自监督三维目标检测方法进行深入研究,主要分为以下三个部分:(1)为了解决三维目标检测对大规模标注数据的依赖和标注难问题,本文设计了“预测—渲染—比较”三段式结构的自监督双目三维目标检测网络,只需要简
海洋监测系统主要负责对海洋情况进行视觉监视和参数检测。随着人工智能技术的崛起,将深度学习技术应用于海浪检测上的研究成为了海洋监测系统的发展趋势。目前将深度学习应用在海浪参数检测上的研究大多数只关注到二维卷积神经网络对海浪图像的二维特征提取,网络模型只能学习到海浪图像的空间信息。为了能对海浪运动的时间信息加以利用,本文通过将二维卷积核增加时间维度扩展成三维卷积核,提出一种基于三维卷积核的神经网络模型