面向三维人体骨架序列的动作识别研究与应用

来源 :山东大学 | 被引量 : 0次 | 上传用户:fannao3562
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于人体骨架序列的动作识别是人工智能应用范畴中一个热门且非常具备应用性的研究问题。目前,该问题在视频监管、体感游戏、病人监护、无人安防、人机互动、机器作业等领域有着大量的应用。随着人体骨架数据获取设备及动作捕获传感器的发展,传感器可以有效地获得动态人体骨架序列。因此,迫切须要设计一个能够充分且合理利用人体骨架序列的动作识别算法。人体骨架序列充分表示了人体信息的时空特征表示,但初始的人体骨架序列往往存在着骨架倾斜、关节点丢失、空白帧等问题,先前的工作均未能对这些问题进行合理的预处理。骨架序列的时间或空间维度包含着丰富的人体信息,如何设计一个具备更高识别准确率的人体动作识别算法模型使其能够充分利用人体骨架的时空特征信息是本文研究的一个核心问题。此外,一类人体动作的执行常常仅须要在部分人体关节点的共同配合下完成,因此,如何设计一种关节点注意力网络使其能够根据不同的动作序列生成不同的响应图也是提高人体动作识别算法性能的一个重要方式。本文的主要工作如下:1、本文对初始的骨架序列数据进行了矫正融合及预处理操作,解决了相机的拍摄角度倾斜及骨架点缺失的问题,使得骨架数据更加适合网络的训练,从而为提高基于人体骨架序列的动作识别算法的准确率奠定了坚实的基础。2、本文提出了用帧间向量特征表示和帧内向量特征表示来编码人体骨架序列时空特征的新方法,重新设计了 TCN的残差块,提出了一种能够融合多种特征表示的双流时间卷积神经网络(TS-TCN)。3、本文提出了一种关节点注意力图卷积神经网络(JA-GCN),以端到端的方式为不同类别的人体动作生成不同的图拓扑结构。
其他文献
深度神经网络的高效推断过程通常需要高性能计算设备,但在资源受限的移动端或嵌入式实时系统中难以推广。神经网络剪枝技术通过减少网络连接的数量,能降低网络的复杂度,推动神经网络在计算资源受限条件下的应用。深度网络中冗余神经元剪枝算法取得了较大研究进展,但存在两个关键问题:1、目前的剪枝算法缺乏理论分析方法,无法对预先设置的剪枝比例给出合理的解释;2、基于全局剪枝比例的权值或神经元修剪可能会导致神经网络中
可穿戴外肢体机器人通过给人体安装额外独立的机械肢体,为穿戴者提供支撑负载等辅助功能,提高单人作业能力及作业范围。具有四个外肢体的多肢体机器人比单肢体和双肢体机器人的稳定性更好,可实现的任务模式更多,作业能力和作业效率也会有极大的提高,可广泛应用于工业、建筑、医疗、军事、航天等领域,具有极其广阔的发展前景。对多肢体机器人肢体和背板的建模及运动控制方法等方面进行研究分析可以促进多肢体机器人的实用化,具
随着深度学习、大数据等应用对计算机性能的要求逐渐提高,传统的基于CPU的架构已难以满足这些应用的计算需求,将CPU与作为加速器的GPU结合构成的异构多处理器片上系统(Heterogeneous Multiprocessor Systems-on-Chip,HMPSoC)成为主流趋势,GPU除擅长处理3D图像渲染外,还能进行大规模通用并行计算。在CPU-GPU异构架构中,高速缓存(Cache)是缩小
随着数据技术的发展,个性化推荐算法逐渐成为研究重点。在个性化推荐算法中,协同过滤方法使用最多。近年来,在机器学习的发展中,传统的协同过滤方法逐步与新技术结合,最近的一些工作开始应用深度学习方法,但主要是针对辅助信息进行建模。当要建模关键信息时,依旧使用矩阵分解的方法,用户和项目的隐含特征仍然用内积表示。因此,在嵌入过程中,对于互动中隐含的协同信号无法获得有效编码。在协同过滤中,用户和项目的嵌入表示
葛根是江西道地药材之一,在江西具有悠久的种植历史。作为药食两用价值极高的中药植物,葛根在江西的产业规模已初步形成,但发展却有所停滞。此文通过总结分析江西葛根的使用价值和产业现状,针对江西葛根产业目前发展存在的主要问题提出相关建议,旨在通过葛根发展战略制定、资源库构建、技术提升、相关保健产品重点研发、立体化生态产业建立等多种手段,促进葛产业的健康化、系统化及规模化发展。
随着信息技术的发展以及网络社交平台的普及,互联网上出现了海量的图像数据,对这些图像数据的快速检索是互联网相关产业的核心任务之一。哈希学习是图像快速检索的重要方法,因其良好的性能,近年来引起了研究者的广泛关注。基于哈希学习的图像检索方法通过将图像数据映射为具有固定长度的离散二进制码,可以实现高效率、低存储的图像近似近邻检索。但是,随着图像采集设备软硬件技术的发展,海量的图像数据在满足用户需求的同时,
随着科学与经济的发展以及“工业4.0”概念的提出,制造业开始纷纷向着“智能化、智慧化”的方向发展。基于AGV的“货到人”拣选系统是当前物流行业的主流选择,该系统中以自动导引小车(Automated Guided Vehicle,AGV)为搬运工具。本文所研究的多仓位机器人存取系统(Muti-position Robotic Storage and Retrieval System,MP-RSRS)
戒毒所作为一个人员聚集的场所,需要更加方便快捷的监管方式,从而提高监管人员的监管效率。同时,消防安全知识和消防技能是如今社会每个公民都必备的一项重要内容,因此,除了常规的监管操作,戒毒所也需要监管消防安全问题。随着虚拟现实技术的发展,其拥有的沉浸感较强、不受实际场地限制、可多次重复的特点,受到了人们的广泛欢迎,进而应用于各行各业。使用虚拟现实技术对戒毒所进行监管和消防演练比起传统方式具有成本低、可
复杂网络的链路预测一直是复杂网络领域一个非常重要的研究方向。链路预测既有着对未知但已存在的边的预测,也有着对未来的可能存在的边的预测。将复杂网络从静态网络扩展到动态网络可以有效区分未知和未来的边预测,而链路的权重预测也将链路预测的链路存在有无扩展到链路的正负以及可能形成的链路的值。在交易系统中,尤其是像使用比特币进行交易的这样匿名性强,欺诈风险较大的交易系统中,提前对交易对方的可靠性有一个大致的估
树覆盖问题是一个基本的组合优化问题,在电话机房、网络机房及发电厂等规划方面有着重大的研究价值。树覆盖问题主要包括四类,包括最小最大树覆盖问题、有根的最小最大树覆盖问题、有界树覆盖问题和有根的有界树覆盖问题。对树覆盖问题的研究,不只是对问题本身关联的实际有促进作用,对其他相似的问题而言也有重要的研究价值,例如圈覆盖问题、车辆寻路问题、路径覆盖问题和集合覆盖问题等。本文中主要研究的树覆盖问题是最小最大