基于素描结构重匹配和特征更新的孪生网络目标跟踪

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:wuni_cn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标跟踪技术已被广泛应用于智能视频监控、人机交互、机器人视觉导航等众多领域。2016年,Bertinetto等人提出了基于孪生网络的SiamFC算法,该算法在保证实时跟踪的情况下取得了较好的跟踪精度,引起了研究人员的广泛关注。在实际应用中,目标跟踪的场景是比较复杂的,针对复杂场景中遇到相似语义干扰、目标形变和目标被遮挡等问题,SiamFC算法还有很大的改进空间。因此,本文进行了如下研究。(1)针对SiamFC算法中因受到相似语义干扰而引起响应图中出现多个峰进而导致跟踪失败的问题,提出了一种基于最大值滤波多峰定位和one-shot匹配的孪生网络目标跟踪算法(SiamMPM)。该算法将目标跟踪分为两个阶段,第一阶段是通过提出的基于最大值滤波的多峰定位模块,获取视频帧的响应图中多个峰对应的图像块;第二阶段是从第一阶段的所有图像块中判别出被跟踪的目标,将第一阶段得到的所有图像块作为支持集,模板图像作为查询集,采用基于匹配网络的one-shot学习方法进行重匹配。该算法在OTB2013和OTB2015数据集上进行了消融实验和对比实验,精确度相比SiamFC算法分别提升3.1%和2.8%,并且有效地改善了相似语义干扰问题。(2)针对跟踪过程中目标形变较大或者被遮挡时SiamMPM算法不能有效跟踪的问题,在SiamMPM算法的基础上,提出了一种基于注意力融合机制的特征更新的孪生网络目标跟踪算法(SiamUAF)。该算法采用注意力机制对跟踪过程中视频帧预测框对应图像的特征进行融合,然后利用融合后的特征对模板的特征进行更新,从而使算法能够在目标形变较大或者被部分遮挡时精确地跟踪。该算法在OTB2013和OTB2015数据集上进行了消融实验和对比实验,精确度相比SiamMPM算法分别提升1.9%和2.1%,并且有效地改善了目标形变较大或者被遮挡的问题。(3)为了进一步提高SiamMPM算法的性能,通过引入跟踪目标在素描空间的的结构和位置信息,提出了一种融合素描重匹配和特征重匹配的孪生网络目标跟踪算法(SiamFSF)。该算法的第一阶段与SiamMPM算法的第一阶段相同。在第二阶段,首先,采用基于匹配网络的one-shot学习方法计算第一阶段获取的所有图像块的特征重匹配得分。然后,通过提出的素描重匹配模块来计算素描重匹配得分。最后,通过提出的融合策略对特征重匹配得分和素描重匹配得分进行融合来完成目标跟踪。该算法的第二阶段既利用了特征层面的语义信息又利用了跟踪目标在视频帧中的结构和位置等信息。该算法在OTB2013和OTB2015数据集上进行了消融实验和对比实验,精确度相比SiamMPM算法分别提升1.1%和1.3%。
其他文献
云存储作为云计算的延伸,具有资源共享、管理成本低以及可扩展性等优点,因此可以为用户提供高效快捷的存储和计算服务.电子医疗系统可以帮助患者获取、管理和共享其健康数据,从而有助于预测多种疾病,提高医疗服务质量.随着现有的医疗数据规模的不断壮大,基于云存储的电子医疗的发展也愈发迅速.然而,一些云安全问题也接踵而来,诸如数据的机密性问题和灵活的访问控制问题.属性加密作为一种密码原语可以解决对健康数据的细粒
积分微分方程及包含在物理学、生物医学、经济学、生态学等领域实际问题的数学建模中有着广泛应用.本文主要结合积分微分方程和泛函分析基本理论与方法,着重讨论在非局部初始条件下,几类发展型积分微分包含系统的可解性与可控性,内容主要涉及一类具有Clarke次微分的时变积分微分包含系统的可解性和近似可控性;在预解算子紧和非紧的情况下,一类带有泊松跳跃的随机积分微分包含系统的可解性及解集的拓扑性质;当预解算子紧
近年来,我国星上实时云检测及图像判读的卫星项目中不断取得突破性的进展。但现有卫星在轨处理系统以固定算法的硬件为核心,设计难度大,通用性差,功能升级困难,无法满足我国日益增长的军事与民用卫星侦测需求。实现高性能的可配置通用处理器是解决卫星图像云检测工作的最佳途径。然而当前成熟的商业指令集架构存在着技术封锁、扩展设计复杂等问题,导致难以在星上云检测应用场景等领域上进行自定义指令集架构等。为了解决这些问
2021年4月13日,日本单方面决定将大量福岛核废水排入海洋,遭到国际上的强烈反对,各国相继发声予以反对,周边邻国韩国亦表示要将该争端诉请国际法庭解决。文章结合《联合国海洋法公约》和《核事故及早通报公约》以及《核事故或辐射紧急情况援助公约》等规定分析日本该行为的违法性,同时对解决该行为可选择的司法路径进行研究,对其可行性对比同类案件如乌拉圭造纸厂案、切尔诺贝利核事故案件、莫克斯工厂案、查戈斯
期刊
本文采用超临界二氧化碳(scCO2)发泡技术制备甲基乙烯基硅橡胶(VMQ)/三元乙丙橡胶(EPDM)复合发泡材料。探讨预硫化时间、EPDM含量以及饱和温度对泡孔形貌的影响。力学性能测试结果表明硅橡胶泡孔结构和EPDM含量对力学性能有较大影响。当预硫化时间为8 min时,其交联密度为2.7×10-5 mol·cm-3,可得到较好发泡性能和较宽发泡窗口。在60℃饱和温度、10 MPa饱和压力下发泡的V
随着数字影院的不断发展,传统投影放映技术的缺陷越来越明显,LED屏幕凭借其在高分辨率显示、HDR(High Dynamic Range)显示、3D显示等高端领域的成功应用,开始被显示行业应用于新一代影院系统中。本文针对LED影院系统中的控制系统部分展开研究,研究过程中发现需要解决两个关键问题:其一是目前市场上除三星外还没有投入商用的LED影院控制系统,如何设计硬件系统才能够使其与影院服务器进行通信
报纸
基于单目图像的三维人体姿态估计是计算机视觉的基本任务之一,其可以应用于虚拟现实、人机交互、自动驾驶等多种领域,是近几年热门的研究课题之一。由于从二维图像到三维姿态是一个高度非线性问题,并且图像内容本身存在遮挡、光照、人体服装等诸多影响因素,导致三维人体姿态估计具有很大的挑战性。本文分别针对单人和多人两种环境下的三维姿态估计,分析现有研究方法存在的问题,提出相应的解决方案,并取得了较为理想的效果。具
本文针对喇叭天线的高性能、多频段和小型化技术进行了研究和设计,重点在于保证天线高性能的同时使天线的结构简单、紧凑。主要工作包括以下三方面:1、研究了波纹喇叭和多模喇叭天线的设计原理和方法,从口径场的分析出发,对喇叭天线的波束等化和高极化隔离度的关键技术进行了分析。并基于波纹的分段结构设计了带宽为4.44%的C波段波纹喇叭天线,提出了对波纹模式控制的方法,提高了天线在频带内增益的稳定性,实现了23.
随着高分辨光学遥感影像的发展,海量优质的遥感数据为地物观测提供了良好的条件。遥感影像多标签分类能够自动解译图像信息,快速批量生成图像的标注信息,是遥感影像处理中一个重要的研究内容。遥感影像具有背景复杂、场景宏大、尺度差异等特点,使得遥感影像多标签分类任务变得更加困难。现有的遥感影像多标签分类方法无法充分地挖掘标签之间的依赖关系以及图像和标签之间的跨模态交互信息。针对上述问题,本文主要研究了深度学习