情绪是一种瞬息万变的心理与物理现象,它反映了机体对不断变化的环境所采取的适应模式。在日常生活中,人们总是需要利用各个不同的感觉通道的信息(如视觉信息、听觉信息等)来对各种非言语的情绪信息来进行感知。来自面孔和声音的非言语的情绪信息往往复杂多变,类似的表情和声音或许代表着全然不同的情绪,如果无法感知和理解这些非语言的情绪信号,往往会给沟通造成障碍。以往的研究认为大脑具有独立的脑区和网络分别专门处理来自面孔和声音的信息,面孔和声音的情绪的知觉机制也已经得到了不少的研究,相较而言,不同感觉通道(如视觉、听觉)的情绪知觉的加工机制的异同并没有得到非常完善的研究。视听整合的研究探究了跨通道处理情绪信息的神经基础,但是关于处理视觉通道和听觉通道的情绪知觉的多感觉皮层依然没有得到明确的研究。这个脑区是来自高级的多重感觉皮层,接受来自低级的单一感觉皮层的信息进行统一处理,还是可能出现在更为低级的、传统意义上的单一的感觉皮层依然存在争议。另外,这个多重感觉皮层对于不同类型的情绪的知觉过程是否有所区别也没有得到非常明确的研究。所以,进行视觉通道和听觉通道下情绪知觉的神经机制的异同的研究是十分有必要的。本研究的目的为探究视觉情绪知觉和听觉情绪知觉的神经机制的异同,探究跨通道情绪知觉的多重感觉皮层。为了达到上述目的,本研究针对视觉和听觉通道的情绪知觉设计相关的2*3(刺激呈现通道类型:视觉、听觉;情绪类型:高兴、悲伤、恐惧)的事件相关(event-related)的任务态功能核磁共振(task fMRI)实验任务,记录了被试在对视觉通道和听觉通道的刺激材料引起的情绪知觉过程中的血氧信号值(BOLD信号值),探究被试对来自不同感觉通道的不同类型的情绪信息的知觉的大脑激活强度、解码机制的异同,寻找视觉和听觉通道的情绪知觉的多重感觉皮层,并为视觉通道和听觉通道的情绪知觉神经机制方面提供具有价值的影像学方面的依据。该实验任务可以分为两部分,第一部分是对于每个被试的兴趣区(低级视觉皮层:V1-V4;面孔选择区:双侧FFA、双侧STS;听觉皮层:AC)的定位,第二部分是每个被试知觉来自不同感觉通道的三种情绪信息时的大脑信息的采集。本研究的研究范围是视觉通道和听觉通道的情绪知觉的神经机制,因此涉及的实验材料有高兴、悲伤和恐惧的面孔图片,以及高兴、悲伤和恐惧的声音音频。研究一对兴趣区的激活强度和激活模式进行研究。激活强度结果显示:V1-V4、双侧FFA和双侧STS对情绪面孔的激活强度显著高于对情绪声音的激活强度,AC对情绪声音的激活强度显著高于对情绪面孔的激活强度。紧接着,多体素模式分析(multivoxel pattern analysis,MVPA)结果显示:右侧的STS的激活模式够区分被试看到的情绪面孔是高兴的面孔、悲伤的面孔还是恐惧的面孔。右侧的FFA的激活模式能够区分被试看到的面孔是高兴的面孔还是悲伤的面孔。有趣的是,本研究的结果显示AC对于两种通道的高兴、悲伤与恐惧情绪的区分准确率也达到了边缘显著(P=0.02,未矫正)。研究二中,全脑搜索分析表明:情绪类型的主效应显著并体现在左侧的额下回岛盖部,情绪类型和感觉通道类型的交互效应共体现在五处脑区,分别是右侧楔前叶、左侧背外侧额上回、右侧顶上小叶、左侧枕中回和右内侧额上回,感觉通道类型主效应显著,并且与激活强度结果互相印证。在此之后,本研究又统计了情绪类型主效应兴趣区对于六种刺激条件的激活强度的差异,结果显示:被试对恐惧面孔的激活强度显著高于恐惧声音;对恐惧面孔的激活强度显著高于悲伤面孔;对恐惧面孔的激活强度显著高于高兴面孔;对恐惧声音激活强度显著高于高兴声音。综上所述,本研究可以得出以下结论:第一、低级视觉皮层(V1-V4)以及面孔选择区(双侧FFA和双侧STS)对情绪面孔的激活强度更强,而颞叶听觉皮层对情绪声音的激活强度更强,即上述兴趣区表现出了对视觉通道和听觉通道的情绪知觉的激活强度的差异。第二、右侧STS对高兴面孔、悲伤面孔和恐惧面孔的知觉起到了重要作用,右侧的FFA对高兴面孔和悲伤面孔的知觉起到了重要作用。第三、颞叶听觉区的激活模式也表现出了其作为跨通道的情绪知觉的多感觉皮层的倾向。第四、左侧的额下回岛盖部可能就是视-听情绪知觉的多感觉皮层,是视觉和听觉情绪知觉的共同通路,且其对于负性情绪,尤其是面孔的恐惧情绪最为敏感。第五、右侧楔前叶、左侧背外侧额上回、右侧顶上小叶、左侧枕中回、右内侧额上回对于视觉通道和听觉通道的情绪知觉有着相当重要的贡献。