论文部分内容阅读
动作意图理解是指人在观察他人动作行为时自发理解动作意图的一种认知过程,这种认知过程是人类社会生活的重要组成部分,在人类心智发展以及语言发展等方面有着非常重要的作用。当前对动作意图理解的脑影像研究仍是以单一模态的脑影像方法为主,而本研究使用脑电图(electroencephalography,EEG)和近红外光谱脑功能成像(functional near-infrared spectroscopy,fNIRS)双模态结合的方法,分别从神经电信号和血氧信号两个层面探究大脑在不同动作意图理解认知任务下的特异性活动,从而加深对动作意图理解神经机制的理解。此外,不同的观察视角会对人脑理解动作意图的方式造成影响。以往的研究主要关注于第三人称观察视角(3PP)而忽略了第一人称观察视角(1PP)的重要性,因此本研究基于功能性磁共振成像(functional magnetic resonance imaging,fMRI)技术对不同视角条件下的动作意图理解神经机制进行探索。动作意图和观察视角的分类研究有助于构建人机意图反馈回路的高层次脑机接口应用,因此本研究基于EEG-fNIRS和fMRI信号分别对动作意图和观察视角进行分类研究。本研究分别从动作意图和观察视角两方面对动作意图理解的神经机制进行解读。首先是基于EEG-fNIRS双模态信号对不同意图条件下动作意图理解的神经机制进行研究。从方法上,动作意图的研究分为三个方面,分别是溯源分析、复杂脑网络差异分析、动作意图分类研究。首先,利用sLORETA和FUSION软件分别对EEG信号和fNIRS信号进行溯源分析。溯源结果表明动作意图理解认知任务需要镜像神经元系统(mirror neuron system,MNS)和心理理论(theory of mind,ToM)的共同参与,并且不同动作意图的脑激活模式不同,左侧MNS和ToM脑区负责对清晰意图(喝水意图和移动杯子意图)进行解读,而右侧MNS和ToM脑区则是负责对不清晰意图进行解读。其次,基于EEG,fNIRS信号分别构建复杂脑网络,并使用配对样本T检验的方法比较三种不同动作意图条件下关键节点的复杂脑网络指标差异。研究发现喝水意图与移动杯子意图在运动皮层以及MNS脑区的复杂网络节点指标上存在显著性差异。最后,基于不同动作意图网络节点指标存在差异,我们将网络节点指标作为特征输入给支持向量机(support vector machine,SVM)对三种动作意图进行分类研究,并对EEG-fNIRS双模态信号在特征层进行融合来提高分类正确率。分类结果显示EEG单模态以及fNIRS单模态的平均分类正确率分别为68.6%和52.7%,而EEG-fNIRS双模态融合后的正确率可以达到72.7%。此外,本研究还利用fMRI信号对不同视角条件下动作意图理解的神经机制进行了研究。内容分为脑激活分析、复杂脑网络功能连接分析、视角分类三部分。首先,利用FSL软件对fMRI信号进行激活区检定。研究结果表明1PP和3PP条件下的动作意图理解认知任务都会诱发MNS脑区激活,并且1PP诱发的MNS激活显著强于3PP。其次,使用荟萃分析(meta-analysis)方法引入动作观察网络(包含MNS和ToM)和默认网络的核心脑区构建复杂脑网络,并比较不同观察视角条件下脑网络连接的差异性。研究发现1PP观察视角下的默认网络连接强于3PP观察视角下的默认网络连接。最后,在网络差异基础上,我们使用复杂脑网络节点指标作为特征,SVM作为分类器对视角进行分类研究。视角分类的结果显示基于单独的默认网络和动作观察网络的分类正确率分别是76.2%和59.5%,而在默认网络与动作观察网络共同参与的情况下视角分类的正确率可达到83.8%。本研究主要研究成果分为以下四个方面:(1)动作意图和观察视角的不同均会引起动作意图理解相关脑区激活模式的差异;(2)左侧MNS和ToM负责理解清晰动作意图,而右侧MNS和ToM脑区则是负责理解不清晰动作意图;(3)动作观察网络和默认网络共同参与1PP和3PP条件下的动作意图理解认知任务,并且1PP条件下的动作意图理解更多涉及默认网络的参与;(4)EEG-fNIRS双模态融合可以有效提高动作意图分类正确率。