基于深度学习的视觉目标跟踪算法研究

来源 :浙江师范大学 | 被引量 : 0次 | 上传用户:XDCHZHTXZHY
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉目标跟踪是计算机视觉领域中最为重要的研究课题之一,在视频监控、自动驾驶、智能交通、人机交互以及军事侦察等领域都有着非常广泛的应用价值。它要处理的问题是在视频序列中连续地估计出感兴趣物体的位置和尺度信息,从而服务于高层次的视频分析与理解。尽管目标跟踪已经取得了长足的进展,但是复杂多变的实际场景中存在着光照变化、遮挡、快速运动、形变、尺度变化以及背景杂波等一系列问题,这些动态不确定因素使得实现高精度且鲁棒的视觉跟踪仍然是一个巨大的挑战。近年来,随着深度学习的快速发展,其在目标跟踪领域也得到了很好的应用和发展。同时得益于海量的视频数据和计算机软硬件运算能力的不断提高,使得数据驱动的深度学习跟踪算法展现了显著的性能优势。因此,本论文在详细分析现有基于深度学习目标跟踪理论及方法的基础上,从有效的表征学习、鲁棒的相似度匹配、准确的目标框预测以及高效的运动估计四个角度进行深入研究,主要研究内容和创新如下:1)针对深度学习跟踪模型中浅层特征表示能力不足而深层特征计算开销大这一问题,提出了一种视觉注意力引导的残差学习目标跟踪算法(CSART)。该方法首先研究不同主干网络提取的视觉特征对于跟踪精度和效率的影响。其次使用自注意力模块分别在空间和通道维度捕获基特征的长距离语义依赖关系,从而获得两个富含上下文信息的注意力特征图。然后,利用残差学习的思想将其与原始特征进行自适应融合,以更有效地学习前景和背景的判别性表示。此外,还设计了一个多任务损失函数来端到端地联合优化整个表观模型,同时也缓解样本的不平衡问题。大量的实验结果表明,所提算法在基本没有降低跟踪速度的情况下,显著提高了原始模型的精准度和鲁棒性。2)基于孪生网络的跟踪算法一般采用简单的互相关操作来执行模板特征与搜索区域特征之间的相似度匹配,这种固定且线性的度量方法难以处理混乱的背景噪声问题,限制了模型的判别力。本文提出了一种基于孪生关系网络(Siamese Relation Networks)的鲁棒跟踪框架,利用关系网络建模了一种非线性可学习的相似性函数。它可以很好地集成到现有的孪生网络跟踪模型中,从而实现了由粗到细的两阶段匹配过程。推理期间,提出了一种基于双模板匹配的在线跟踪策略,保持初始帧模板,并利用高置信度跟踪结果的反馈来获取和更新动态模板,进一步提高了模型的鲁棒性和在线自适应性。实验结果表明,该跟踪算法能够很好地应对目标外观变化、背景噪声等难题。3)针对现有无锚框跟踪器分类与回归任务的不一致性以及预测框不够准确问题,提出了一种具有不确定性感知的孪生网络跟踪算法(UAST)。该方法主要探讨物体边界框的不确定性和模糊性表示,首先利用回归向量直接建模目标框四个偏移量的离散概率分布,并通过计算各个分布的积分以捕获更为灵活且信息丰富的边界框表示。其次基于预测值近邻的概率可以估计出每个边界的确定性分数,从而实现跟踪的不确定性估计。同时,考虑到不确定性与回归精度的高度相关性,构建了一个联合的分类-定位质量表示头,解决了分类与回归任务的不对齐问题,并开发动态标签分配实现了高质量的目标跟踪。在五个公开视频跟踪数据集上的测评结果表明,UAST算法优于所对比的多个先进的跟踪模型,并且该不确定性跟踪能够更可靠地用于实际视觉系统。4)考虑到目前基于分类的深度跟踪器搜索效率低下且网络参数在线更新耗时长等局限性,提出了一种基于分层深度强化学习的视觉目标跟踪模型。该工作重新定义了目标跟踪的问题建模,即研究如何教会机器模仿人类的行为范式(若干次动态迭代搜索)来执行跟踪任务。具体地,构建了特征观测网络,策略网络和演员评论家网络,以及用于建模物体运动时序信息的长短时记忆模块,并遵循马尔科夫决策过程通过深度强化学习算法学习有关跟踪模式和运动估计的层次化决策。为提高在线跟踪效率,还引入专家跟踪器来引导模型的更新和重新初始化过程。广泛的实验结果表明,提出的模型在多种挑战属性下获得了较好的跟踪结果,并且在鲁棒性与准确率方面表现良好。
其他文献
期刊
2016年12月,习近平总书记在全国高校思想政治工作会议上的重要讲话中指出,"要坚持把立德树人作为中心环节,把思想政治工作贯穿教育教学全过程,实现全程育人、全方位育人,努力开创我国高等教育事业发展新局面。"高职院校要落实立德树人根本任务,关键点在于如何将"三全育人"与自身院校办学特点有机结合,采取切实有效举措,培养培育新时代有理想、有本领、有担当的青年。本文以吉林工业职业技术学院为例,从构建思想政
目的 探讨结直肠癌(CRC)患者DOC-2/DAB2相互作用蛋白(DAB2IP)与新四极体-1(NET-1)的表达水平,并分析在CRC中的诊断意义,为提高CRC的确诊率提供参考。方法 选取河北北方学院附属第一医院收治的148例CRC患者癌症组织和76例正常黏膜组织,通过免疫组化法检测DAB2IP与NET-1的表达,分析CRC癌组织DAB2IP与NET-1表达的相关性,分析两因子表达情况与CRC临床
新时代,我国旅游业进入融合发展的新阶段,文旅产业深度融合发展已经形成趋势,在这个过程中旅游产业政策的引导、调节发挥了重要的推动作用。近年来,内蒙古旅游业经过数量扩张的高速发展,开始进入提质增效、转型升级稳定发展的阶段,旅游业融合发展作为内蒙古旅游业转型升级的路径之一受到政府及相关部门和业界的关注。2016和2017年两年时间,内蒙古党委、政府密集颁布旅游相关政策,其中8个旅游产业政策分别从促进旅游
习近平总书记提出的"以德立学"重要理念,不仅是对教师的要求,对党员干部和广大群众都具有十分重要的指导意义。只有把"立学"与"德"结合起来,"以德"为基础和前提,才能提升"立学"的品味与境界。理论上讲,"当代之德"关键的就是社会主义核心价值观。在中华民族优秀传统文化中,蕴含着丰富的"以德立学"思想理念。新时代我们要自觉提升"以德立学"的修养境界,必须勤学苦练,下得苦功夫,求得真学问。只有每个人都把"
红色文化资源是高职思想政治理论课重要的教学资源,具有独特的教育价值。高职院校思想政治理论课教学中运用红色文化资源存在重视程度不够、形式单一等诸多问题,要建立政府、社会、学校、教师协同机制,整合红色文化资源,形成红色文化资源体系;要加强教师培训,转化教学观念;要借助新媒体,拓宽教学途径,增强教学效果。
目的 对疾病诊断相关分组(diagnosis related groups, DRG)精细化管理效果进行评价并针对存在的问题提出改进措施。方法 选取2019—2021年医院的住院病案首页数据,运用CN-DRG分组方案进行分组,选取广东省DRG评价指标体系中的DRG组数、病例组合指数(case mix index, CMI)、总权重、时间消耗指数、费用消耗指数和低风险组死亡率6个指标对医院精细化管理
地域文化不仅包含着许多能够丰富二级党校课程内容的资源,而且具有较强的亲切感和现实感。打造二级党校的知识课堂、实景课堂和文化课堂,可以有效地将地域文化融入二级党校的思想政治教学,提升二级学院立德树人成效。同时,在融入地域文化的过程中,必须以新时代中国特色社会主义思想为指导,注意地域文化资源的提炼和师资队伍的建设。
契丹族是我国古代的游牧民族,主要生活在我国北方地区。由于受到生产方式和经济水平的限制,契丹人早期的游艺活动以骑射为主。辽朝建立后,统治者积极学习和提倡中原文化,汉族的游艺活动和节日习俗为契丹人所接受,逐渐盛行。契丹人立足于本民族的文化基础,将本民族的游艺活动与汉族的习俗相结合,形成了独具民族特色的游艺文化。
<正> 化学农药在当今的农业生产中,有着不可取代的地位,对农业的丰收提供了有力的保证。但过分依赖化学农药,如DDT、666、会给环境造成不利影响,甚至污染环境,损害人体健康。具体表现在: (1) 污染空气、水源、土壤和作物。一些粉剂或烟剂农药喷撒、燃烧过程中,对大气的污染是显而易见的;一些液体农药又通过各种途径污染水源、水生物,甚至直接威胁到人类的饮用水源;而一些化学性质比较稳定、残效期长的农药,
期刊