基于时空信息融合的微表情识别方法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:mir_lww0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是是人类在试图压抑或隐藏真实情感时的泄露,在刑侦破案,政治心理,临床医学等诸多领域有着广泛应用。由于微表情样本建立困难,对噪声敏感,有效时空信息获取不足等问题,严重制约相关算法的识别效果。在小样本和噪声干扰情况下,准确有效的从微表情序列中提取时空信息是微表情识别的关键。本文针对现有微表情识别方法易受噪声影响和时空信息提取不足等问题,提出基于时空信息融合的微表情识别方法。本文的主要工作如下:(1)在预处理阶段,先对图像划分感兴趣区域(Region of interest,ROI)。为增加特征判别性,引入差分能量图,寻找不同情绪发生运动变化的ROI区域,实现对于不同情绪能计算出自适应的权值ROI。(2)在底层时空特征提取上,提出基于时空局部立方体的二值编码方法(Local Cube Binary Pattern,LCBP)。LCBP将编码区域由三维正交平面扩展到立方体进行编码,通过设计的8个掩模提取微表情运动方向信息LCBPdirection,并在此基础之上添加幅度LCBPamplitudes和空间信息LCBP3D。在有效去噪的同时得到了底层时空信息,并且具有特征维度小的特点。(3)提出LCBP-STGCN(Local Cube Binary Pattern–Spatial Temporal Graph Convolutional Networks)方法获取时空融合特征。首先以ROI为图节点位置,LCBP特征为图节点信息确立时空图结构。然后利用具有处理非欧式数据能力的STGCN(Spatial Temporal Graph Convolutional Networks)网络提取图节点之间的信息。STGCN包含空间维卷积GCN(Graph Convolutional Network)和时间维卷积TCN(Temporal Convolutional Network)两种卷积模式,分别用于捕获图节点之间的空间信息和时间信息。通过GCN与TCN的交替卷积,可得到融合时空信息的LCBP-STGCN高层时空特征。最后连接SVM(Support Vector Machine)分类器进行微表情识别。最后在四个自发的微表情数据库SMIC、CASME、CASME2、SAMM进行实验。结果表明与目前主流的基于手工特征的识别算法和基于深度学习的识别算法相比。本文提出的算法识别率均有一定提升,且具有很好的鲁棒性。一定程度上解决了微表情易受噪声影响,时空信息缺失等导致的识别率低的问题。
其他文献
本文研究了单位球上的Békollé-Bonami型加权Bergman空间上的原子分解定理.首先着重从Bergman空间,加权Bergman空间理论的研究背景及现状,原子分解理论的研究背景及意义来介绍.在研究背景方面讲述了这些理论的发展进程;对于研究意义,目前也拓展到了理论与各个空间之间的联系.Bergman空间理论一直是函数论中的热点专题,随后标准的加权Bergman空间也得到了广泛的关注,所涉及
树指标马尔科夫链是概率论研究领域中一个新兴的研究分支,它将马尔科夫链推广到了树指标的情形当中,是一个新的理论体系,引起了统计学、信息论、经济学等领域的广泛关注.而强偏差定理作为概率论和数理统计的基础和重要分支,一直被数学研究者视为热点.在实践中所遇到的Markov链,它的转移概率矩阵往往是随着时间的变化而改变的,这就大大的增加了研究的复杂程度,由此也吸引了越来越多的人对非齐次树上Markkov链进
为了推动我国由制造业大国转变为制造业强国,缩小和美国、日本等制造业强国之间的差距,提高我国制造业的智能化和自动化水平势在必行。《中国制造2025》计划提出研发具有深度感知和智慧决策等功能的高档数控机床,而刀具的磨损状态直接影响着数控机床的工作效率和加工精度。因此,研发一套可集成于机床的刀具状态监测系统,对于智能制造和自动化制造水平的提高有重要意义。为了实现对刀具磨损状态的精确、快速监测,研究了一种
随着环境污染和能源枯竭问题的日益严重,开发绿色可持续的能源迫在眉睫。电解水是一种有效的制氢方法,但是制氢效率强烈依赖于电催化剂,目前Pt、Ir、Ru等贵金属催化剂具有最佳的催化性能,但是由于资源的稀缺性限制了大规模应用。所以开发一种廉价、高活性和稳定的非金属催化剂变得十分必要。镍基硫化物因具有很好的催化活性,且储量丰富,价格低廉,是贵金属催化剂良好的替代品。但是制备方法复杂、活性位点不足和本征活性
滚动轴承作为机械系统中的关键基础元件,常工作于环境差、承载重的工况下,在其服役过程中极易出现各种失效故障,造成机械系统无法正常工作,甚至严重损坏,极大地影响生产过程的安全性和经济性。因此,开展滚动轴承的健康状态监测与早期故障诊断技术研究,对于保障机械系统的安全可靠运行具有重要的意义。近年来,机械故障诊断技术发展迅速,其中稀疏分解算法在该领域得到了广泛应用,验证了其在旋转机械故障诊断方面的可行性和有
随着成像光谱仪技术的发展,高光谱遥感图像的获取变得越来越容易。高光谱遥感图像分类问题是当前高光谱遥感技术的一个研究热点。与多光谱图像相比,高光谱图像具有丰富的光谱信息,丰富的光谱信息为分类任务提供了巨大的帮助。近年来,深度学习在图像处理方面取得了很大的成就,并在高光谱遥感图像分类中得到了应用。本文针对高光谱遥感图像地物分类中存在的问题,对深度学习在高光谱遥感图像地物分类中的应用进行了深入研究,主要
随着科技的发展以及人民生活水平的提高,汽车的保有量持续增长,与此同时交通事故的发生率也逐年攀升。智能驾驶系统可以在一定程度上分担驾驶员的负担,帮助驾驶员实现诸如自动巡航、泊车和碰撞预警等功能。车道线以及道路车辆的识别是智能驾驶领域中两项极为重要的技术,传统的机器视觉检测算法容易受到行车环境的影响,比如白天强光或夜晚暗灯环境、大雪大雾等极端天气,而近年来流行的深度学习算法又需要付出庞大的算力,对算法
有机-无机卤化物钙钛矿材料(MAPbX3,MA=CH3NH3+,X=Br,I或Cl)是一种新型的半导体材料,MAPbX3材料凭借其带隙可调、发光峰窄、载流子迁移率高等优异的光电特性,为开发各种光电应用开辟了可能性。特别是在太阳能电池,发光二极管和光电探测器等方面得到了广泛的应用。但是由于MAPbX3材料结晶速度快,所以采用溶液法制备的有机无机杂化钙钛矿薄膜结晶不连续,薄膜覆盖率低,且由于材料的成核
随着我国城市化水平的不断提高,机动车保有量的增加及行车速度的提高,城郊地区高等级道路交通安全的问题日益突出,不仅会造成经济社会负担的加重,更重要的是有可能危及到人们的生命安全。因此,对城郊地区高等级道路交通安全问题进行分析,并深入开展以预防和控制事故发生为目的的交通安全评价研究迫在眉睫。首先,本文针对性地分析了城郊地区高等级道路的交通事故特征,对影响道路安全指标进行探讨,对人、车、路、环境四个基础
在我国,城市在不断发展的经济推动下得到极大扩张,加之城镇化的推进,城市可利用空间越来越狭小,市区土地寸土寸金。随之而来的是,交通压力增大,生活资源紧缺,造成的后果也越来越多,一方面,不仅干扰了居民的工作和生活,给国民经济带来了重大损失,同时也造成城市道路“拉链现象”的出现,为城市的发展带来很多环境问题,城市交通秩序混乱;另一方面,造成了城市地下空间和资金等不能得到充分有效的利用,高空架设的类似“蜘