视频动作识别中的深度特征融合方法与注意力模型研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:shashh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频内容的动作识别在计算机视觉领域是一项重要研究课题,也是目前非常有挑战性的热点问题,其中包含了计算机视觉、模式识别、人工智能等多个学科。随着视频数据的急速膨胀,视频的内容分类吸引了人们的注意力,这项任务对于监控视频、行为检测、异常事件预警、虚拟现实等多种场景具有学术领域的理论研究指导意义和巨大的商业价值。在早期做动作识别这一任务主要是利用视频图像的底层特征进行量化处理,具体可以分为三步操作:(1)视频帧的预处理和局部特征的提取;(2)特征池化并量化;(3)基于量化后特征进行分类器训练。运用传统方法做动作识别任务的方法中,使用改进的密集轨迹特征并且进行费舍尔量化是当前最好的方法,在多个公开的数据集中取得最出色的性能。然而,这种传统特征还是存在多方面的问题,例如特征的存储空间过大,提取时间太慢无法满足实时需要,性能提升遇到瓶颈等问题。随着近些年数据量的爆炸式的增长,和深度学习在计算机视觉领域的异军突起。深度学习方法已经在多个计算机视觉领域相比传统方法性能大幅度的提升。然而,动作识别的这个领域却是一个特例,深度学习在动作视频分类领域进展相对缓慢,这主要是由于现有的标注视频数据较少,且视频相比于图像包含的信息更加复杂,无法像训练图片分类问题那样训练出一个有性能优势的视频分类网络。这种现象也突显了视频动作识别的复杂性,同时深度学习的方法有其特有的优势,所以研究者们都在不懈的探索,期待深度学习能在这一领域有突破性的进展,本文也是基于深度学习框架处理视频动作识别的研究。基于深度学习的方法和最新的进展,文章也提出两方面的探索:(1)传统视觉特征与深度特征融合的动作识别方法;(2)注意力模型的深度学习识别方法。第一种方法充分利用传统特征能够提取到的时间信息和深度特征能提取到的场景信息,有效的将这两种互补的信息融合到一起提高动作识别的准确率。第二种方法是进一步的探索深度网络模型,并在深度卷积网络的基础上设计注意力模型进行视频分类。相比较传统方法,本文提出的几种方法具有实现快速、特征占空间小、性能更高的优势,并且在多个公开数据集上面得到了性能验证。
其他文献
目的:评价2种匹伐他汀钙片在人体内的生物等效性。方法:20例男性健康志愿者随机交叉单剂量口服试验制剂和参比制剂,利用LC-MS/MS法测定匹伐他汀体内血药浓度。结果:试验制剂
财务管理和成本控制对于煤炭企业而言是经营活动中的重要组成部分。新形势下,煤炭企业的财务管理和成本控制对企业管理提出了更高的要求。因此,煤炭企业为了促进自身发展、赢
刑事程序中的诉讼分流对于提高刑事诉讼的效率、实现刑罚对犯罪的预防功能、保护被追诉者的权利都具有非常重要的意义。西方许多国家在侦查、起诉、审判阶段都建立了系统的程
对于中国而言,农村土地流转仍然是一个非常棘手的问题,这涉及土地的私有化;在政府与市场的制度改革上,主要是市场化和自由化改革,比如利率市场化、汇率市场化以及要素价格市
网络化分布式控制是现代工业自动化领域的发展趋势,一些重要场合对控制网络的实时性要求越来越高。CAN总线作为一种具有独特技术优势并具有广泛应用前景的现场总线,对其实时性
目的:探讨金线莲多糖对人前列腺癌细胞株PC-3增殖能力的影响及作用机制。方法:采用水提醇沉法提取金线莲多糖纯品;应用金线莲多糖处理人前列腺癌细胞株PC-3,应用MTT法检测细
在我国科学技术不断更新换代的大背景下,我国建筑行业在进行现代化过程中,建筑技术也在不断进行优化。当前,在我国建筑工程技术中,工程地面施工技术至关重要,良好的地面施工
对于市场来讲,审计集中度对于实践审计工作带来的影响往往是不可忽视的。文章将针对这一方面的内容展开论述,详细的分析了市场审计集中度对于审计质量带来的多方面影响,同时
目的观察过敏性哮喘对apoE-/-小鼠动脉粥样硬化(AS)病变发生及发展不同时期的影响。方法取6周龄的apoE-/-小鼠,以卵清蛋白(OVA)致敏后给予雾化吸入,激发哮喘发作以建立过敏性
本文分析中国服务业发展的时间序列变化与人民币汇率的关系。中国服务业的发展滞后与两次大的停滞密切相关(1992~1996年、2002~2008年)。倘若服务业在这两段时间正常增长,中国