基于图卷积的区域池化与注意力模型的行为识别

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:liutingkaoyanhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的发展,行为识别已经成为计算机视觉领域一个十分热门且重要的分支。当前行为识别已经有了广泛的应用,包括视频理解、人机交互以及虚拟现实等等。近年来,随着图卷积网络(将卷积神经网络应用到图中)的发展,行为识别领域又获得新的突破,识别准确率进一步提升。然而,当前存在的图卷积方法感受野太小,只能学习到邻近关节点的相关信息,无法像卷积神经网络一样通过池化扩大感受野提取行为的高层次特征,例如人体五个区域之间的交互特征;其次,当前图卷积方法对于易混淆的行为类别区分较差,原因在于其给予所有动作的关节点和通道分配的权重相同,导致用于区分易混淆动作的关节点和通道不能重点突出。本文从现有的基于图卷积的行为识别模型存在的问题出发,综合考虑模型的实用性和识别性能,创新性地提出了基于图卷积的人体区域池化策略、基于图卷积的轻量化模型以及基于图卷积的关节点和通道注意力模型。本文的主要研究内容以及创新性包括:(1)提出了一种新的基于图卷积的人体区域池化策略,即基于人体运动形态的三步区域池化策略。考虑到人体骨骼固有的图结构以及人体的运动形态特征,采用一种按照人体五部分区域逐步池化的方法来学习行为的高层次特征。人体骨骼大致可以分为五个区域,双手,双脚以及躯干;更进一步,可以分为上半身和下半身。通过逐步池化来学习区域之间的交互特征进而提高行为识别的准确率;(2)提出了一种新的基于图卷积的轻量化模型,即四层图卷积的轻量化模型。经过人体区域池化策略后,关节点之间的信息流通速度加快,可使用更少的图卷积网络层数提取行为特征;在减少模型参数和计算量的同时不影响识别的准确率,使得图卷积网络模型更加轻量化;(3)提出了一种新的基于图卷积的关节点和通道注意力模型,即融合局部信息和全局信息的注意力模型。此注意力模型可综合考虑到行为的时序信息、局部信息以及全局信息,为不同的关节点和通道学习不同的权重,挖掘易混淆行为在关节点和通道中存在的微小差别,对易混淆的行为做出更好的区分。为验证本文所提出方法的有效性,采用当前应用最广泛的三个行为识别数据库:NTU-RGB+D,Kinetics-M和SYSU-3D进行了验证。实验结果表明,本文的模型在前述三个行为识别数据库中的准确率均优于当前最先进的方法。
其他文献
随着网络互联规模的不断扩大,早期的因特网协议IPv4中已经出现了许多不足之处,其中最迫切需要解决的就是IP地址短缺的问题。但随着因特网协议IPv6使用范围的扩大,带来的是IPv
原发性肝细胞癌(hepatocellular carcinoma简称肝癌)是我国最常见的恶性肿瘤之一。根据国家癌症中心最新公布的数据:我国肝癌新发病人数已达37.0万,死亡人数达到32.6万,高死亡率使得肝癌成为我国恶性肿瘤死亡人数第二位。目前多学科综合诊疗(multi-disciplinary team,MDT)的出现一定程度上提高了肝癌病人的总体预后,其中外科手术治疗依然是肝癌多学科综合诊疗中
本文的写作目的是对兼类词下的一个部分,双音节形副兼类词在中高水平的留学生中的学习情况进行调查。在分析留学生的调查问卷情况下,试图找出留学生对于双音节形副兼类词的学习困难,即习得情况的调查。同时,试图通过分析问卷,探索留学生在双音节形副兼类词运用方面产生偏误原因,对留学生双音节形副兼类词的学习方法提出改进意见。通过对教材中的双音节形副兼类词的分布情况的调查及分析,对于今后对外汉语教材的编写提出建议,
2020年是我国全面建成小康社会的决胜之年。在“精准扶贫、精准脱贫”国家战略引导下,西藏气象局积极响应党和政府号召,深入挖掘潜力,深度激发活力,广泛调动资源,大力推进机制创新,成功实现了原有组织功能的扩张,积累了气象部门扶贫工作的新经验、新做法,以个案展现出一条中国特色的扶贫脱贫之路。西藏是中国的深度贫困地区。在政府安排下,西藏气象局在通常的农业气象、专业气象服务外,承担着繁重的精准扶贫任务。本文
本文设计研制了 Cu、Ni、Co、Fe修饰的用于典型有机无机小分子电化学分析的3D-蜂窝碳材料,分别进行了电化学氧化分析尿酸、多巴胺、抗坏血酸、水合肼和电化学还原分析间硝基
目的:探讨影响绝经后不同时期女性冠心病患者发病的相关因素。方法:选取844名行冠状动脉造影检查的绝经后女性,根据民族、绝经年龄及是否为冠心病分为:汉族绝经≤6年冠心病组(n=70),维族绝经≤6年冠心病组(n=58),汉族绝经≥10年冠心病组(n=327),维族绝经≥10年冠心病组(n=106);汉族绝经≤6年对照组(n=76),维族绝经≤6年对照组(n=40),汉族绝经≥10年对照组(n=129
中国大陆司法实践中,由于一些司法工作人员缺少对民法上占有概念制度、占有意思的理解与重视,导致财产类犯罪的错案、冤案多有发生,此关涉到公民合法权益的保障和司法专业化水准和司法的公信力问题。对此,本文从占有制度对财产类犯罪影响的角度进行研究,以期推动刑事法治思维的进步和精确。本文共分四个部分:第一部分占有制度与财产类犯罪中分为占有制度的范畴、财产类犯罪的特征、占有制度对财产类犯罪的工具价值;第二部分中
国内河通航水域桥梁建设日趋完善,船舶在内河航道中行驶常需通过桥梁,甚至连续通过多个桥梁。而船舶在内河航道行驶时,其行为不仅受其他船只的影响,也会受到桥梁的影响。船舶行为与航运安全息息相关,发现船舶过桥行为特征、挖掘船舶航行规律以及预测船舶轨迹等研究对桥区通航效率和安全具有重要意义。在构建桥区水域船舶过桥行为标签体系的基础上,面向船舶经过桥梁通航孔的场景,研究了船舶过桥行为特征,对船舶进行画像。进一
分数阶微积分是整数阶微积分的推广.与整数阶微分方程相较而言,分数阶微分方程具有记忆性和局部性,能更好地描述一些具有记忆效应的过程.因此,分数阶微分方程在材料学、工程
21世纪以来,物联网技术在多个产业领域的应用得到长足进步。在现代温室环境的智能管理中,怎样把物联网技术良好地应用到其中,对设施农业的智能化水平提升,有着里程碑式的意义