【摘 要】
:
给定目标在初始帧的标注信息,视觉跟踪旨在预测其在后续帧的中心位置和大小。由于目标缺少足够的先验信息,同时在跟踪中容易受到运动模糊、形变和遮挡等因素干扰,从而产生复杂的外观变化,这些都为设计精确高效的视觉跟踪方法带来了巨大挑战。视觉跟踪的核心在于建立鲁棒高效的目标表观模型。由于缺乏目标的先验知识,因此如何利用场景中的时空上下文信息进行目标表观的建模尤为关键。时空上下文信息由时域和空域上下文信息两部分
【基金项目】
:
国家自然科学基金面上项目(编号:61671182,U19A2073,61872118); 国家自然基金青年基金项目(编号:NFSC20200172);
论文部分内容阅读
给定目标在初始帧的标注信息,视觉跟踪旨在预测其在后续帧的中心位置和大小。由于目标缺少足够的先验信息,同时在跟踪中容易受到运动模糊、形变和遮挡等因素干扰,从而产生复杂的外观变化,这些都为设计精确高效的视觉跟踪方法带来了巨大挑战。视觉跟踪的核心在于建立鲁棒高效的目标表观模型。由于缺乏目标的先验知识,因此如何利用场景中的时空上下文信息进行目标表观的建模尤为关键。时空上下文信息由时域和空域上下文信息两部分组成,其中时域信息包含历史帧跟踪到的目标、学习的分类器模型和样本的学习权重等内容;而空域上下文则定义为目标附近一定范围内的背景区域,不仅可以为表观模型的学习提供训练样本,同时能够增强视觉跟踪的稳定性。近年来,相关滤波(Correlation Filter,CF)跟踪方法凭借高效的计算效率得到了广泛研究,并取得主流跟踪方法的性能。然而,当前CF方法在利用时空上下文进行目标表观建模上仍存在不足:一方面,借助目标附近的空域上下文,CF方法可以通过图像金字塔策略实现目标的尺度估计,但却无法预测目标在跟踪中的宽高比变化,因此跟踪的准确度受到限制。同时,为缓解循环样本假设带来的样本边界不连续问题,CF方法采用余弦窗进行样本的预处理,但忽视了后者存在抑制空域上下文、污染训练样本的问题;另一方面,为应对目标在跟踪中的表观变化,CF方法借助历史帧的跟踪结果等时域信息更新模型,但不能同时实现高效率、低内存和自适应的更新策略。此外,如何在CF框架下自适应地借助时空上下文进行表观建模和跟踪,同样需要研究。基于此,本文基于相关滤波理论,通过研究时空上下文对表观建模的影响,设计鲁棒高效的跟踪方法。本文的创新点如下:(1)为解决CF方法不能处理目标的宽高比变化问题,提出结合边界和中心CF的跟踪模型。除通过中心CF定位目标位置外,借助空域上下文信息,设计多个边界CF分别对目标的四个边界位置进行预测,以灵活地应对目标的宽高比变化。为提升模型判别能力,提出一种近似正交正则化项,将所有CF集成到一个模型中同时学习。此外,提出一种优化算法求解模型,其中每个子问题均具有解析解,保证了算法的收敛速度。实验结果表明,相比于现有的尺度估计方法,提出的模型能够更好地处理目标的尺度和宽高比变化,同时在性能上超过主流的跟踪方法。(2)为解决CF框架中余弦窗组件存在抑制空域上下文、污染训练样本的问题,研究在CF模型中取消余弦窗的可行性和具体方法。首先通过实验验证了在空间正则化CF框架下去除余弦窗的可行性;接着在去除余弦窗的基础上,提出两种新的掩膜函数。通过对样本的估计误差进行重加权,掩模函数可以从空域上下文中选择合适的训练样本,以消除边界不连续样本对模型学习的负面影响。通过将提出的方法嵌入到多种典型的空间正则化CF框架中,实验结果表明,改进的空间正则化CF方法可以有效避免抑制空域上下文和污染训练样本,同时在性能上显著优于包含余弦窗的原始方法。(3)为解决CF方法不能同时实现高效率、低内存以及自适应的模型更新问题,从一个典型的CF方法出发,提出基于时空正则化约束的CF模型。通过提出的时域正则化项,算法能够自适应地将时域信息用于模型更新,从而得到鲁棒的CF模型。为实现模型求解,提出一种优化方法,能够实现CPU上实时的跟踪速度。此外,算法在跟踪时仅需要保存前一帧得到的模型,因此内存开销较低。多个数据集上的实验结果表明,算法能够同时实现高效率、低内存和自适应的模型更新,同时在性能上超过主流的视觉跟踪方法。(4)为解决CF方法不能自适应地借助时空上下文进行表观建模和跟踪的问题,提出一种自适应多时空上下文的CF框架。首先提出Sigmoid形式的空间权重函数,通过灵活地调整目标和空域上下文的权重约束值,以提升模型稳定性。接着将不同参数的空间权重函数分别集成到CF方法中,得到多个包含不同大小上下文区域的跟踪模型。在跟踪阶段,为自适应地借助时空上下文信息,将历史帧的样本学习权重作为时域约束项,提出了一种优化模型,不仅能预测目标位置,同时可为不同CF模型得到的跟踪响应图分配融合权重。实验结果表明,提出的方法能够自适应地借时空上下文进行表观建模和跟踪,并在性能上超过主流的跟踪方法。
其他文献
近年来,随着在线社交网络平台(SNP)数量的不断增加,个人和组织对其的使用也在迅速增长。SNP的普遍性和多样性的性质使得其对社会(社交)和组织(业务可持续性)都具有重要意义和战略意义。社交网络平台的影响力正日益渗透到营销(如广告)、经济(如网上购物)、教育(如网络学习)和娱乐(如Instagram和YouTube)等不同领域。越来越多的网络公司使用SNP来追踪客户的情绪,从而使SNP成为提高业务价
随着人口老龄化加剧和居民健康意识的提高,居民对医疗保健资源的需求日益增加。而日益增长的医疗需求与有限的医疗保健资源之间的矛盾,已成为全球关注的热点问题。我国所面临的医疗问题更为严峻。我国已经进入人口老龄化的快速发展时期,居民医疗需求快速增加,而且存在医疗保健投入相对不足,医疗资源配置不合理等问题。虽然国家正在逐渐加大对医疗卫生的投入,通过多次医药卫生体制改革,使得全民医保体系逐渐健全,居民基本医疗
在线教育正悄然改变基础教育生态,成为基础教育不可或缺的一部分。依据教师教学水平评价理论,结合成熟的在线学习投入量表编制包含6个维度、27个观测项目的问卷,面向2020年上半年新冠肺炎疫情期间在线学习的高中生开展学习投入影响因素调查,旨在从教师教学水平的视角深度探索在线学习环境下高中生学习投入的影响因素。结果发现:高中生对教师在线教学水平评价认可度较高;反映教师教学水平的教学内容、教学手段以及作业批
随着老年慢性病群体尤其是糖尿病患者群体的日趋庞大,经济社会成本逐年增加,有限的医疗保健资源已无法应对老龄化社会的发展,针对老龄化社会的有效解决方案亟待更新。大数据、人工智能、云计算、物联网、5G等新兴信息技术在健康领域的广泛应用,为移动医疗应对老龄化社会所带来的挑战创造了新的机遇。然而,移动医疗在实际发展过程中存在留存率低、遵从性差、自我汇报误差等相关挑战,将导致用户参与移动医疗App所带来的健康
时间和空间作为人感知世界的重要参照,是塑造社会经验的重要因素。互动是个体存在的重要方式,也是社会学研究的重要命题。随着信息技术的发展,社会互动的时间和空间都发生了变化。通过微信互动连接了人与人、人与社会,与现实社会的交互构成更为复杂多样的社会形态。微信互动扩展了使用者的互动空间,个体的互动时间得到延伸,互动空间开始扩展,形成了特有的社会时间和空间的状态。本研究以时空社会学理论为基础,通过对微信使用
Hessian方程是一类重要的完全非线性微分方程,在微分几何、复几何、计算几何、偏微分方程、最优运输问题及凸体理论中均有高频率的出现。甚至在近些年方兴未艾的图像处理技术,人工智能理论等也能寻其踪迹。研究Hessian方程的原动力主要来自于它们在微分几何中的广泛应用。如共形几何中的k-Yamabe问题等价于求解紧流形上一个完全非线性椭圆型Hessian方程;预设曲率测度的Alexandrov问题等均
可持续和高质量发展是当下全球范围的研究热点和共同目标,装配式建筑作为新型建造方式的重要载体,具有节能减排、质量优良和高效集约等优势,有助于建筑业的转型升级。装配式建造技术驱动装配式建筑发展,装配式建造技术跨组织扩散突破组织边界,实现技术在组织间的合作共享,促进通用技术体系的建立,有效降低建造成本,是装配式建造技术从研发到应用、将创新成果转化为经济效益的关键环节。然而,由于缺乏理论指导,装配式建造技
移动智能设备的高速发展和O2O本地生活服务营销模式的普及,对广告行业产生了颠覆式的推动。这轮爆发极大地促进了移动O2O广告的发展。专门为移动设备和移动用户习惯而打造的移动O2O广告,逐渐成为广大本地服务商户移动在线营销的最重要手段之一。如何能够在合适的时间、合适的地理位置给合适的用户推送相应的移动O2O广告成为广告主普遍关心的重要问题。因此开展情境因素对移动O2O广告效果的影响研究和预测研究具有重
充满危机和竞争的外部环境加剧了工作岗位的波动,无论是企业中的管理者还是一线员工,都容易产生工作不安全感。由于上司和员工会在工作中进行频繁的人际交互,因此上司的工作不安全感可能会通过上司的决策或者行为传递给员工,由此扩大工作不安全感在组织中的影响范围。组织行为领域将这种组织中高层级个体的感知、态度和行为下行传递给低层级个体的现象称为涓滴效应。然而,当上司的工作不安全感通过涓滴效应传递给员工后,企业却
灾害情景态势(Scenario)简称“情景”,是表达灾害的程度、范围和演化的基本描述,即在一个选定灾害情况下,表示致灾因子(如暴雨)、相关承灾体(如桥涵)、应对体(如应急救援队伍)和孕灾环境(如城市周边水系)特征的数据和信息集合及其走向。区别于一般灾害,级联灾害伴随多种灾害的发生,不同灾害具有潜在的关联关系,这使得其情景态势演化更加难以预测,在实施情景推演时需考虑多种复杂情形。面向城市级联灾害,如