情绪的准确判断和识别是面对面交流中的重要内容,日常社会交往中用于情绪表达的不只有面部表情,情绪性语音也会参与其中。当面部表情与情绪性语音同时出现时,视觉与听觉的情绪信息将可能发生整合。那么视觉与听觉双通道的情绪信息是如何整合在一起的呢?研究选择愉快与愤怒两种情绪,使用单音节叹词比如"耶"、"哼"等作为听觉刺激,静态面部表情图片作为视觉刺激,视觉刺激与听觉刺激保持效价一致并同时呈现作为视听刺激,组成了视觉、听觉和视听三种刺激。三种刺激随机呈现,要求被试对知觉到的情绪进行效价判断。实验使用反应时、ERPs和EEG时频分析(Time–frequency analysis)三重指标互为补充进行数据分析。结果显示,视听条件下的反应时显著短于视觉与听觉条件;视听条件下的N100波幅显著小于视觉与听觉条件;视听条件下的P200波幅显著大于视觉与听觉条件;时频分析显示,在100-700ms的时窗内,视听条件下α波(8-13Hz)与β波(15-25Hz)均受到比视觉条件与听觉条件之和更强的抑制,表明双通道情绪信息整合的效应量大于单通道之和,具有超加性,提示视觉与听觉情绪信息已经发生了整合。另外,根据时频分析的结果我们发现,听觉通道与视听双通道刺激在α与β波上的表现具有极大的差异,但是与视觉条件差异不显著。这一结果表明视觉条件下的情绪加工表现出了与视听条件相类似的脑波分布,表明视听双通道情绪整合加工过程中有较多的视觉加工的成分。即在视听情绪效价一致的情况下,视觉加工主导着视听情绪信息的整合。