基于双流空时注意力网络的行为识别研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xuhaibin_213
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频中的人体行为识别在计算机视觉中占有重要的地位,有着广阔的应用前景和潜在的经济价值和社会价值,受到了世界各地研究机构及研究者的关注。先前的人工特征泛化能力不强,通过人工特征进行行为识别的方法局限性较大。近年来,随着深度学习的发展,基于深度学习的行为识别受到了广泛的关注。但是,行为识别仍然是一个具有挑战性的问题,本文针对现有行为识别方法进行总结分析,给出了以下贡献:首先,本文构建了一个金字塔空间-通道注意力模块。其中,空间交互注意力子模块考虑了空间位置间的交互,通过交互影响获得注意力以及更加准确的特征表示;通道注意力子模块通过挖不同掘通道之间的不同重要性,进一步改善语义的特征表示;进一步地,通过引入金字塔结构,它可以从多个尺度描述特征,使特征更加完备。接着,本文构建了一个特征映射和时间交互注意力模块。特征映射可以维护稠密帧的时间顺序信息,简单有效。时间交互注意力模块能够探索不同视频帧之间的相互影响,并进一步获得时间注意力,建模视频帧之间的相互依赖关系。然后,本文建立了一个静态-运动特征协同模型,并以交替训练方案进行优化。此模型能够协同探索鉴别性的静态信息和运动信息,并学习鉴别性静态特征和运动特征的强互补性,使静态信息和运动信息能够相互引导增强特征学习。静态特征和运动特征经过静态-运动特征协同模型优化之后,分别得到了静态流和运动流的预测分数。由于静态信息和运动信息对不同语义类的贡献是不同的,因此,本文提出了一个自适应融合方法。该方法不仅能自适应地学习静态流和运动流的融合权值,而且能利用类之间的关系进一步提高网络性能。本文的方法在UCF101和HMDB51数据集上进行实验,并与最先进的方法做比较,实验结果验证了本文提出方法的有效性及先进性。最后,对本文提出的方法进行总结并进一步给出行为识别发展趋势与方向。
其他文献
来华留学生管理作为我国高等教育管理一个重要组成部分,对培养适合我国国情需要和能为我国社会劳动力做贡献的人才,以及增强我国国际化水平、加强与国际社会的政治、经济、文化、外交、教育等各方面的交流合作有着积极推动作用。我国来华留学事业自建国以后开始发展,1950年招收首批来华留学生,经历了文化大革命时期的中断、改革开放时期的复苏、和新世纪的快速发展。在“中国梦”、“一带一路”政策的大力支持下,越来越多的
本文以当代青年在学厨之路存在困惑:不知"是学校学厨好,还是进餐馆拜师学厨好?"为出发点,通过对当代青年学厨模式的剖析,笔者认为当代青年应择取学校学厨模式,学校采取"现代
建筑业是一个高度综合的行业,自身经济体量庞大,与产业链上下游有着密切的关系,是影响和推动国民经济发展的重要行业。近年来建筑企业数量不断增长,加上国家对建筑土地市场调控监管政策日益严格,以及房地产市场的衰退,建筑企业项目承揽竞争越来越激烈,企业之间打价格战,导致项目利润空间缩小。随着国家对环保的日益重视,建材价格和人工成本不断上涨,建筑业成本在逐年提高。成本管控是企业经营管理中的一项极其重要的工作,
学位
随着工业和社会的发展,我国农田镉污染问题越来越严重,镉污染使作物生长受到抑制,降低作物的产量和品质。烟草是我国的重要经济作物,具有很强的镉富集能力,烟草镉污染会对吸
虽然正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术在现代通信系统中占据主要地位,但是随着物联网和智慧城市等产业的快速发展,OFDM技术在频谱利用率、用户体验速率和流量密度等方面都面临巨大的挑战。滤波器组多载波技术(Filter Bank Multicarrier,FBMC)利用时频特性良好的原型滤波器获得了更高的频谱利用率和更小的
经济快速发展为市场主体提供了新的发展机遇,作为金融行业的重要参与主体,商业银行在实现自身快速发展的同时,也面临着严峻的挑战。目前国内的商业银行并未建立完善的内部控制制度,管理机制也不健全,时常会出现风险事件,金融案件不断出现。而近几年互联网金融的兴起,给银行内控管理的合规性带来了新的挑战。2020年爆发的新冠肺炎疫情极大程度改变了商业银行与客户的交互方式,进一步加大了商业银行风险管理要求。新形势下
学位
基于淮南潘谢深部区块内部及外围的煤层气/瓦斯含量、镜质组反射率等实测资料、钻孔剖面测温成果,结合等温吸附实验,分析了研究区煤级梯度及现代地温梯度,探讨了深部煤层含气
随着经济社会的迅速发展,互联网逐渐走入寻常百姓家,互联网的出现不仅使人们的生活方式日新月异,社会生活也变得更加丰富多彩。在互联网迅速发展、信息爆炸的背景下,传统商业模式既获得了机遇也迎来了挑战。电子商务的出现给人们带来了崭新的购物模式,节省了购物时间,提升了购物效率。人们借助电子商务平台足不出户就能购买到想要的商品。近些年随着智能手机的普及,电子商务情景下的网购变得愈加便利。电子商务给人们带来巨大
2016年,水利部、国家发展改革委联合印发了《“十三五”水资源消耗总量和强度双控行动方案》,该方案强调了水资源消耗总量和强度控制对我国现行社会经济发展的重要性,要求各方必须严格贯彻方案的精神,切实推进各项措施的实施,促进我国用水方式随经济发展方式的有效转变,为全面建成小康社会提供水安全保障。在该方案中,沿用了《最严格水资源管理制度》中的三项指标“万元国内生产总值用水量”、“万元工业增加值用水量”、
近年来,我国人口老龄化进程加快,政府监管部门、潜在投资者和社会公众都越发关注医药行业的整体发展情况,然而随着医药市场份额的扩大、营业收入的增长,利润产出指标却呈现波动下降的趋势。立足于公司治理角度,股权集中度直观反映了公司的股权结构,通过已有研究发现股权过于集中或分散都不能够正向作用于公司治理;内部审计部门作为企业内部的一种辅助监管部门,具备监督评价的职能,其建设质量的高低直接决定内部审计在工作时
学位