众所周知,人类可以通过很多方式感知他人的情绪状态。第一,面部表情,人们可以通过眼部、颜面和口部的肌肉来展现不同的情绪状态;第二,姿态表情,人们在不同情绪状态下的身体姿势会出现差异,而手势也可以单独用来表达情绪或者思想;第三,声音韵律,声音韵律的快慢,高低,强弱等等都是表达情绪的有效手段,这三种非言语交往的形式被统称为“体语”。其中,面部表情和声音韵律正是人类在日常社会交往活动中重要的两种感知他人情绪状态的方式。尽管如此,二者在情绪知觉及其神经基础上的差异,至今鲜有研究。相关研究发现,面部表情表达的愤怒情绪和双通道(面部表情加声音韵律)表达的愤怒情绪,比中性条件下引发了更大的P3波幅,但在声音韵律表达的条件下,愤怒引发的P3波幅与中性条件却无显著差异。这暗示着,相对于声音韵律,面部表情对个体的情绪知觉影响更大。但以上研究并没有直接比较两种单一通道之间情绪感知的差异,也未涉及正性情绪(如,快乐)。更重要的是,此研究没有对单通道的情绪刺激之间在情绪的强度,效价和唤醒度上进行匹配。所以,其结果不能有力的解释视觉通道对情绪知觉的影响是否真的大于听觉通道。因此,本论文首先开展研究一,找到在情绪知觉属性匹配的正性(快乐)和负性(愤怒)单通道情绪刺激(视觉/听觉),并直接比较这些单通道情绪刺激对情绪知觉的影响是否存在视觉大于听觉的现象。在研究一中,我们招募了二十五名来自西南大学的大学生参加有偿实验,实验材料已经预实验标准化,即第一,所有视听材料(仅面孔有情绪:面部表情愤怒而声音韵律中性,面部表情快乐而声音韵律中性;仅声音韵律有情绪:面部表情中性而声音韵律愤怒,面部表情中性而声音韵律快乐;双通道都有情绪:面部表情愤怒而声音韵律愤怒,面部表情快乐而声音韵律快乐;以及中性条件:面部表情中性而声音韵律中性)均可以成功诱发被试相应的快乐情绪,愤怒情绪或者不诱发情绪(中性情绪);第二,在情绪的三维度(效价、强度和唤醒度)上,单通道(视觉通道和听觉通道)间的情绪刺激评分没有差异。研究一要求被试自由观看屏幕上呈现的情绪刺激,同时采用功能磁共振成像(fMRI)技术记录被试的神经活动,以及被试观看情绪刺激之后的情绪效价判断。研究一主要探究在预实验中评定等价的单通道快乐情绪和愤怒情绪刺激在神经层面对情绪知觉的影响是否存在差异。行为结果发现,在快乐条件下,相比于声音韵律,面部表情的正确率更高,反应时更短。这说明被试对面部表情的情绪知觉与识别更快而且更加准确。然而fMRI全脑结果显示在愤怒条件下,相比于声音韵律,颞枕网络在面部表情条件下激活更高(如:梭状回,颞下—枕区)。但无论情绪效价如何,面部情绪感知与双通道情绪知觉之间没有任何显著差异。这说明面部表情对被试知觉愤怒情绪的影响更大,并且这种影响并没有因为声音韵律的加入而得到显著增强。不仅如此,感兴趣区域(ROI)的分析表明,在愤怒条件下,相比于声音韵律,面部表情在左侧颞上沟的百分信号变化率更大,但这一结果在快乐条件和中性条件下并不显著,这说明愤怒的面部表情对被试的情绪知觉影响更大。在内侧前额叶上,面部表情和声音韵律的百分信号变化也没有显著差异。然而,研究一中的情绪效价判断任务并不能直接评估情绪知觉的强度,而且研究一的全脑结果表明在颞枕网络面部表情的激活程度显著高于声音韵律,但颞枕网络却一直以视觉选择性注意方面的功能见长。也就是说,在这些脑区中得到的影像学结果很可能与它们的特定功能相关。因此,为了排除通道特异性的影响并验证研究一的结论,我们采用情绪启动任务开展了研究二。在研究二中,我们招募了三十三名来自西南大学的大学生参加有偿实验,研究二的实验材料与研究一相同,分为单通道情绪刺激和双通道情绪刺激。需要注意的是,所有的情绪启动刺激都是单通道情绪刺激,所有的目标情绪刺激都是双通道情绪刺激。实验要求被试先观看情绪启动刺激,再自由观看目标情绪刺激,然后按照屏幕提示对目标情绪的强度、效价和唤醒度进行评分。结果显示,在负性情绪启动条件下,被试在知觉负性情绪时,声音韵律(听觉通道)启动的情绪强度和唤醒度评分显著低于仅面部表情(视觉通道)启动的评分,仅声音韵律启动的情绪效价评分显著高于仅面部表情启动的评分;在知觉正性情绪时,仅声音韵律启动的情绪强度和效价评分显著高于仅面部表情启动的评分,仅声音韵律启动的情绪唤醒度评分显著低于仅面部表情启动的评分,而在中性条件下,二者在情绪的三维度上的评分差异不显著。因此,根据对所有情绪刺激的效价,唤醒度和强度分数的分析结果,研究二的结果表明,相比于愤怒的声音韵律启动,愤怒的面部表情启动对目标刺激的情绪知觉的影响更大。此结果与研究一保持一致,进一步验证了研究一结论的可靠性。研究一和研究二的结果共同表明,相比于声音韵律,面部表情对情绪知觉的影响更大。也就是说,同样的情绪刺激,通过面部表情来表达相比于通过声音韵律表达会使人们感受到更多的情绪。本研究启示我们,在进行情绪的知觉与调节时,应该充分利用人类的不同感知觉通道,比如选择通过面部表情来传达快乐等积极情绪,而选择声音来传达悲伤,愤怒等负性情绪,从而帮助人们更好地达到自己人际交往的目的。