面向脑机接口的多模态认知隐藏信息特征检测与识别研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:G715893600
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
认知隐藏信息检测或测谎在国家安全、司法和职员筛选等领域有着特殊的作用。传统的多导测试仪在一些国家的某些领域得到了较为普遍的应用,但其科学性和有效性一直受到一些科学家的质疑。要想将其作为法律依据独立应用于司法系统和国家安全领域,除了加强其测试理论和分析方法的研究,同时更需要探索其他替代技术和改进方法来提高检测的准确率和可靠性。近年来,随着脑与认知神经科学研究方法及脑成像技术的发展,基于脑机接口(Brain Computer Interface,BCI)的认知隐藏信息检测技术得到了广泛关注和快速发展。广义上来讲,认知隐藏信息检测通常指隐藏信息测试(Concealed Information Test,CIT)过程,是测谎的一种实现形式。说谎,其本质来讲是一种复杂的认知过程,涉及一系列高级认知功能。而脑机接口技术和脑成像分析方法能够较为直观地反映大脑的这种认知活动,只有在对说谎对应的脑工作机制和认知过程有了充分的认识之后,才有可能设计出更加有效的检测系统。同时,随着机器学习算法的发展以及在人工智能中的应用,将脑机接口技术与机器学习方法相结合,建立基于脑机接口的模式判别系统对隐藏信息的检测具有十分重要的意义。本文基于脑机接口系统和实验室测谎范式,设计了基于视、听、触觉刺激的多模态隐藏信息检测实验,通过对全脑区多通道脑电(Electroencephalogram,EEG)信号的分析,从时、频、空间域以及脑功能网络连接的角度对说谎和真实状态下的大脑活动特征展开详细研究,并结合模式识别算法完成对实验中说谎和真实状态的分类识别。本文的主要工作和创新点体现在以下几个方面:1、提出了基于多通道P300幅值几何差的时域检测方法和基于网络结构中“关键节点特征比”的空域检测方法。为了研究隐藏信息检测过程中说谎状态对应各脑区脑电信号的时-频-空域特征,设计了面向脑机接口的视觉刺激隐藏信息检测实验,对说谎和真实状态下的脑电信号展开全脑域分析。在时域几何差的分析方法中,发现说谎组对应靶刺激和无关刺激之间的几何差明显大于靶刺激和探测刺激之间的几何差;而在真实组中,两种差值之间并没有发现显著区别。在空间域的分析方法中,发现说谎组中靶刺激和无关刺激之间的关键节点特征比明显不同于靶刺激和探测刺激之间的比值,但在真实组中并没有如此明显的差别。利用这些显著差异便可实现对说谎和真实状态的分类识别,实验结果表明这两种方法都具有较高的识别正确率,验证了方法的有效性。2、提出了基于EEG二值网络特征和支持向量机的隐藏信息检测方法。为了对隐藏信息检测过程中说谎状态对应脑功能网络展开定量分析,从而实现检测过程的计算机化,设计了新的面向脑机接口的视觉图片刺激和听觉音频刺激检测实验,构建了不同状态下基于非线性相互依赖指数的二值网络,结合网络特征参数和支持向量机实现对说谎和真实状态的特征识别,测试结果得到了较高的分类正确率,证实该方法是可行有效的。对不同状态网络特征参数的对比分析发现,在视觉和听觉刺激作用下,脑功能网络都表现出小世界特性,同时说谎状态对应网络小世界特性增强。此外,还发现视觉刺激和听觉刺激对应检测效果之间并没有显著的区别,但是视觉刺激的整体识别率要高于听觉刺激。本文首次将脑功能网络的分析方法应用到隐藏信息检测中,测试效果良好,为隐藏信息检测和对应脑认知机制的研究提供了新的研究途径和思路。3、提出了基于EEG加权网络特征和量子神经网络分类器的检测方法。二值网络的主要缺点是通过阂值筛选之后网络会丢失一些有价值的信息,而加权网络能够更加真实地表现网络的连接关系。基于上述二值网络研究结果,设计了面向脑机接口的视听同步刺激隐藏信息检测实验,并完成同视觉刺激作用下测试效果的对比。通过相位延迟指数构建不同状态对应的加权功能网络,此外本文提出了全局特征熵的概念,用以实现对全脑整体复杂度的定量表征。最后,本文设计并实现了量子门节点神经网络分类器,结合加权网络特征参数和全局特征熵完成对隐藏信息的检测。实验结果表明该方法也能较好地识别说谎和真实状态,验证了其有效性。对视听同步和视觉刺激的对比分析发现,结合视觉和听觉刺激的测试效果要优于单纯的视觉刺激的效果,也为多模态刺激的融合提供了实验依据。4、构建了熟人和陌生人信息诱发脑电信号对应的因果网络,提出了基于网络“流度比”的阈值选择方法。大脑的认知过程涉及不同脑区间的相互协调和配合,但在说谎过程中不同脑区间的信息具体是如何传递的,以及脑区间是否存在某种依赖关系,仅通过上述同步分析是无法解答的。隐藏信息检测的主要依据是大脑对熟知的人物信息的反应不同于对陌生人物信息的反应。因此,基于上述实验中视听同步刺激的测试数据,分别对熟人和陌生人信息诱发脑电信号在Delta、Theta、Beta和Alpha四个波段内使用传递熵构建对应的有向功能网络,通过计算各频段内对应网络节点的流度比实现对网络的重点筛选,并完成对应网络特征量的对比分析。结果发现熟人和陌生人信息诱发有向功能网络中核心节点的位置以及不同脑区间信息流向存在不同程度的差异,表明不同脑区对熟人信息的认知参与程度不同于对陌生人信息的认知参与过程。本文基于有向功能网络特征的分析,对理解大脑对是否熟知的信息的认知反映以及认知过程中脑区间信息的流动具有重要的现实意义,同时为探索除P300之外的其他波段信号在CIT中的应用具有一定的借鉴意义。5、采用六种分别表征信号间时域和频域、线性和非线性以及一般同步和相位同步的分析方法对隐藏信息检测过程中说谎和真实状态对应网络特征展开对比分析,找到适用于CIT中网络构建的最佳分析方法。可用于功能网络构建的同步性分析方法众多,但不同方法其理论依据和计算过程各不相同,对同一组信号间依赖关系的表征因此也不尽相同,会对隐藏信息检测的效果产生一定的影响。本文基于图论理论,对面向脑机接口的隐藏信息检测过程中说谎和真实状态对应不同脑网络结构展开对比分析。结果发现,相比真实状态,网络结构在说谎状态下连接强度增强、小世界特性增强,两种状态间网络特征参数表现出统计性显著差异。此外,对比线性和非线性,以及时域和频域分析方法对应的网络特征,发现这些方法之间并不存在显著差异,而通过互信息构建的功能网络其特征量对两种状态的区别效果最佳。该结果为面向脑机接口的隐藏信息检测中脑功能网络构建方法的选择提供了重要参考。6、提出了面向脑机接口的视觉刺激和触觉反馈的CIT分析方法。触觉感知是人体除视听感知之外的另一种非常重要的感知系统,是实现脑机交互的一个重要感官通道,新一代面向脑机接口的隐藏信息检测系统将是基于多刺激模态、结合虚拟现实技术和人工智能的综合性测试系统。同时触觉反馈刺激的引入对应对反测谎CIT系统的设计具有一定的价值,因此首先需要清楚触觉刺激作用下的脑认知机理和信息处理过程。本文设计了单向感知的多稳态触觉刺激实验和人在回路中存在感知反馈的邻近阈值触觉刺激实验,通过同步记录触觉刺激诱发的脑电信号实现对感知过程中大脑认知特征的研究。结果发现,在多稳态触觉感知实验中,并不存在不同感知状态之间的脑神经活动差异;而邻近阂值刺激实验能够较好地表现被试对触觉刺激的感知过程,此外还发现大脑的感知状态越确定,其活跃程度就越低。基于上述结论,本文将邻近阈值触觉刺激引入到面向脑机接口的视觉CIT实验中,通过在视觉刺激之前加入触觉反馈来应对检测过程中可能出现的反测谎手段,实验结果表明,该实验模式在应对反测试时有较好的效果,而触觉刺激的加入并不影响大脑对隐藏信息的检测过程,从而可提高CIT系统的稳定性和可靠性。本文对面向脑机接口的隐藏信息检测过程中脑电信号的时-频-空域特征以及脑功能网络结构的研究,首次从全脑不同脑区的角度对说谎过程中脑神经活动开展了较为详细的分析,对理解说谎过程对应的大脑认知机制具有重要的参考价值;同时对视、听、触觉刺激范式下的脑认知活动进行了详细分析,为面向脑机接口的多模态隐藏信息检测系统开发提供了理论依据。同时本文提出的几种隐藏信息检测方法在理论研究和实际应用中具有一定的借鉴意义和参考价值。
其他文献
随着机器人技术的快速发展,工业机器人已由早期的物料搬运、点焊、弧焊、涂胶密封、冲压压铸等简单操作越来越多地应用于加工领域,如:制孔、铣削、磨削以及搅拌摩擦焊等高精度金属切削加工,从而替代人工作业,极大地提高了产品的加工精度和生产效率。工业机器人相比于传统数控机床具有结构紧凑、灵活性好等优势,特别适用于航空航天、船舶、高铁等需要在装配现场开展大量钻孔、镗孔、磨削和铣削等切削加工的场合,由于需要装配的
近年来,智能材料的开发与使用,已经成为现代高技术与新材料发展的重要方向。智能材料是一种能够感知外部信号刺激,自身可执行动作的材料,可以作为新型驱动器应用在机器人领域。智能材料驱动器已经成为开发仿生、软体机器人等领域的重要驱动功能器件,其制备、建模、控制及应用技术吸引了越来越多不同学科研究者的关注。本文针对智能材料驱动器在机器人系统中作为末端执行部件的应用展开了研究,主要研究内容如下:(1)面向微操
硅钢材料主要用作电机、变压器、电器以及电工仪表中的磁性材料。随着机器视觉技术的发展,采用视觉检测与识别技术进行表面缺陷检测与识别表现出越来越大的优势。为了提高产品的质量,表面缺陷的精准定位与识别受到硅钢企业的重视,并投入开展相关研究,提高检测的精度和效率。本文利用图像处理和模式识别等相关技术对目前硅钢表面缺陷检测和识别任务中存在的问题进行分析。由于硅钢表面图像模式复杂,本文采用分级检测与识别的机制
随着机器人技术的快速发展,机器人越来越多地应用于加工领域。与传统的数控机床相比,机器人加工具有加工成本低、工作空间大、高柔性的优点,多应用于大尺寸的复杂曲面加工领域及大型工件的钻削加工领域。但是,由于刚度的限制,机器人加工主要针对低切削力和较低精度要求的零件加工领域。目前的机器人加工系统大多使用传统数控系统领域中的ISO6983标准(G/M代码)作为编程数据接口,首先使用CAD/CAM系统生成零件
在许多公共场合,仅依靠一种安全检测设备很难真正实现综合的多信息检测。要采用一套完整的技术对被检对象中的物质进行有效的分类以全面控制一个区域的安全,目前国内外仍无法有效实现。本课题通过对国家职能部门的调研,根据其对重点控制的违禁品和习惯采用的安检模式和需求,提出并设计了一个有针对性的多信息融合的整体方案。我们对几种常见违禁品的多信息数据进行了采集和重构,通过一系列的理论和实验研究,完成了一套综合性的
随着互联网技术的迅速发展和网络规模的持续扩大,多种多样的新型网络应用不断涌现,不仅网络应用的种类愈加纷繁复杂,而且用户对各类型网络应用的通信需求也呈现出越来越多样化和个性化的特点。另外,用户更加关注服务体验,即使对于同类型的网络应用,其通信需求在不同的地理因素、心理因素和行为因素下也有很大差异。这就需要网络在各类应用的通信路径上提供多种多样的网络功能,以独特的分组处理及转发操作满足差异化的需求情形
随着工业4.0时代的到来,对产品质量进行自动化检测已逐渐成为发展趋势。在各类自动化检测方法中,基于图像处理技术的检测方法被认为是未来自动化检测方法中的一项最重要的技术。实际上,工业生产中的大多产品缺陷(如钢板成型过程中的表面缺陷等)均可归结为某种具有特定视觉特征的目标,对这些目标进行精准分割可为后续处理提供目标位置、形状等基础且关键的信息。因此,通过分析并量化不同目标的主要特征,并针对该特征提出相
生物打印,是一种广泛应用于生物制造的快速成型技术。根据由计算机辅助设计获得的虚拟设计数据,生物打印可用于按层制造三维实物。目前按需滴化微喷射生物打印是一种非常前沿的生物打印技术,具有高输出和性价比高的特点。与传统的细胞种植技术相比,按需滴化微喷射生物打印可以打印三维组织结构,为细胞提供更适于生长的环境,并且可以直接在指定的空间位置打印多种细胞类型和生物材料。为了实现器官制造,生物墨水中的细胞必须被
疲劳驾驶是造成交通事故的重要因素之一,驾驶疲劳问题引起了全球各国的广泛关注。对此,世界多国学者开始了对疲劳驾驶检测与预警系统的研究,希望构建具有驾驶疲劳检测、和谐人机交互的高级安全辅助驾驶系统(Advanced Driver Assistance System,ADAS)。ADAS的前端判别子系统可分为感知层和判别层两个结构单元。其中,感知层如何获得可靠的多模态生理信息?判别层如何及时准确地判别出
伴随着互联网时代的到来,网络正深刻地影响和改变着人们的日常生活,网络用户数量也同时呈现出井喷式的增长趋势。特别是,“微信”、“微博”等自媒体社交工具的应用普及化,网络用户不仅是网络信息的消费者,更是网络信息的创造者。因此,如何为网络用户更好地服务,并对网络用户的行为进行有效的管理和监督,就成为当前政府、企业和学术界共同关注的热点问题。网络用户行为分析是指对用户上网数据进行统计及分析,从中发现网络用