基于多特征融合的人体动作识别

来源 :西北大学 | 被引量 : 1次 | 上传用户:maerkangggq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频数量的不断增加以及深度学习的发展,人体动作识别研究取得了不错的进展。基于视频内容的人体动作识别技术在智能监控、动作预测以及视频目标追踪等领域都具有重要应用。比较成功的人体动作识别方法是双流卷积神经网络模型,该模型通过时间流和空间流两个网络联合视频中人体动作的外观特征以及运动特征对动作进行识别。但是该模型输入的信息(光流图和RGB图像)容易受到背景混乱、视角变化、物体遮挡等因素的影响。考虑到Wi-Fi信号在动作识别任务中可以克服环境因素的制约,并且其具有成本低、设备部署简单且适用性广等优点。因此,本文在双流网络模型基础上,进一步融合Wi-Fi信号特征去识别视频中的人体动作。本文首先基于时空双流卷积神经网络模型分别提取人体动作对应的背景以及运动信息,融合这两种信息并输入到LSTM网络中得到视频长时运动特征。同时,使用巴特沃斯低通滤波器以及主成分分析法将视频动作对应的Wi-Fi信号进行去噪降维处理,进而使用统计算法提取CSI信号特征,然后将运动特征与CSI信号特征采用两种不同的方法进行融合,即直接平均法和加权平均法,最后使用线性SVM分类器对人体动作进行识别。为了验证本文提出的多特征融合的人体动作识别方法是有效且可行的,我们首先建立了一个基本人体动作数据集,即在正面和侧面两种不同的角度下录制人体动作视频并同步采集动作对应的Wi-Fi信号信息。然后在该数据集上设计对比实验,实验结果表明特征采取加权平均的融合方式比直接平均的融合方式具有更高的识别准确率。也证明了本文提出的多特征融合的人体动作识别方法比双流网络模型方法在动作识别准确度上提高了4.2%,缓解了双流网络易受环境因素制约的不足。
其他文献
无源物联网的标签摆脱了对电源的依赖,具有体积小及成本低的优点,适用于仓储等需要密集部署的行业,通过在货品上附着标签,并与标签通信或对标签定位,可实现对货品远距离的查询和搜寻,提升工作效率,节约人力成本。然而,传统射频识别(Radio Frequency Identification,RFID)标签的通信距离有限,不能适用与大范围的仓储场景,造成这一问题的原因在于:其一,在下行链路上,低功耗限制使得
近年来,高后果区的油气管线安全问题引起了国家的极大重视。目前,我国广泛采用的管线巡检手段以人工巡检为主,智能巡检为辅。由于管线附近施工频繁,各类工程车破坏性大,因此有必要在智能巡检过程中通过固定监控或巡检无人机获取工程车的类别及行为等信息,以进一步提高管线安全。在此背景下,本文设计并实现了一种针对工程车辆的智能识别系统,该系统能够实现施工场景中多种工程车的运动检测、目标检测、目标跟踪与行为识别等功
JavaScript凭借其动态、交互、跨平台等特性,成为嵌入式物联网设备广泛使用的编程语言。为了在物联网设备上解释执行JavaScript程序,各类嵌入式JavaScript引擎被大量开发。然而,由于编程人员水平参差不齐,对JavaScript引擎设计规范理解偏差,导致开发的JavaScript引擎存在安全缺陷、功能缺陷和性能缺陷等问题。安全缺陷会使嵌入式设备面临安全风险,功能缺陷会影响JavaS
基于Wi-Fi信号的无线感知技术具有成本低廉、易于部署、隐私保护性好等优点。其中,手势识别由于其在智能家居和自动驾驶等前沿应用中的广泛需求,逐渐成为物联网领域研究的热点。然而,现有手势识别技术面临跨目标识别精度降低甚至失效的问题,即由于不同用户的身高、体型以及手势习惯等差异,导致利用已训练好的识别模型对新用户进行手势识别时性能大幅下降。针对该问题,本文提出一种基于Wi-Fi和视频相结合的低成本跨目
随着计算机视觉领域的不断发展,以及人机交互需求的提升,基于计算机视觉的手部姿态估计方法近几年来层出不穷。深度卷积网络的提出对手部姿态估计研究发展有着显著的效果提升,具有极大的应用意义与研究潜力。目前为止,三维手部姿态估计的方法根据输入信息不同可以分为两种:一种方法为基于普通单目RGB图像,另一种则基于深度图像或RGB-D序列。在基于深度图像的手部姿态估计方法中,一些方法取得了较好的实验结果。但由于
随着信息技术的发展,由于推荐系统通过采用海量数据挖掘的方式,为用户快速准确地筛选出所需要的信息,提供个性化服务和决策支持,而成为近年来的研究热点。特别是随着深度学习的发展,研究人员已经提出了大量高效的智能推荐算法和应用平台。但是由于推荐系统的数据稀疏性、冷启动以及难以解释性等问题,个性化推荐方法仍存在一些问题亟需进一步的改进。本文通过结合用户评论信息缓解数据稀疏性和冷启动问题,并结合上下文信息,构
尿液中的主要成分来自于血液经过肾脏过滤、重吸收后产生的排泄物,与人体的血液循环、泌尿系统、循环系统等密切相关,因此尿液检测对于医学研究与临床诊断具有重要的价值。由于尿沉渣检测技术受制于显微成像较差的稳定性,目前的尿沉渣检测方法仍然依赖于人工镜检法。临床通过显微镜成像采集的尿沉渣图像容易出现失焦,导致人工镜检的过程中过分依赖主观经验判断。本文的研究旨在解决尿沉渣显微图像画面整体失焦以及有形成分边缘模
众包平台“海纳百川”,集中群众智慧,完成凭个人力量难以完成的任务。对于特定任务,招募最佳的工人子集是任务顺利完成的关键,即工人招募(任务分配)乃众包平台的基本任务。任务具有各自的完成质量需求和预算限制,若任务完成的质量不小于需求,则任务顺利完成,否则失败。工人参与任务,由任务发布者支付报酬,报酬取决于工人的技能水平。工人和任务均有不同的偏好,任务偏好高水平工人,而工人偏好性价比高的任务。如何在任务
谱聚类作为聚类算法中较为优秀的算法,近年在各个领域取得了不错的进展。相比较单视图,许多现实世界的应用程序涉及从不同视图收集的数据,并且具有较高的数据维度和不可避免的噪声。由于维度灾难、无效去噪和多视图集成的结果不佳等问题,在此类高维且含有噪声的数据集上进行聚类仍然是一个挑战。因此如何设计一种算法,使得算法能够有效的处理高维含噪数据,对于多视图聚类有着重要的意义。在收集数据的过程中,数据总是处于不断
随着信息化技术的不断发展,借助计算机辅助数字化技术对文物的虚拟拼接方式也日益成为主流,相比于传统手工拼接方法,数字化虚拟拼接不仅更加高效,并且能够避免与文物的“亲密”接触从而造成二次破坏。对于因局部碎片缺失和断裂面受损所导致碎片特征提取不准确的问题,本文提出了两种文物碎片的拼接方法,并开发了文物碎片虚拟拼接系统对本文算法进行了验证,主要研究工作如下:(1)针对文物碎片拼接过程中存在因局部碎片缺失和