人类通过不同的感官系统获取外界信息,检测和感知外界事物,而不同的感觉器官获取的信息存在相互影响。视觉和听觉作为人类感知外部信息最重要的两个通道,它们之间的交互作用是认知科学领域长期关注的问题。大脑需要整合来自视觉和听觉的信息[1, 2],经过一定的加工处理,产生认知结果,实现对现实世界的反映。当人感知的视听信息一致时,可以促进认知[3];而视听信息不一致时,则产生整合作用[4]或者干扰认知[5],这是视听交互作用的“一致性”问题。目前,简单刺激的视听交互作用研究主要集中在单个听觉刺激的某些属性(持续时间、空间位置、频率等)感知与单个视觉刺激的某些属性(持续时间、大小、空间位置、频率等)感知之间的相互影响。但是,还没有研究对视(听)刺激变化的认知过程。这种对刺激变化认知过程是否也有视听交互作用的影响?如果有,那么这种视听交互作用是否也存在类似的“一致性”问题1?例如当大小变化(或不变)的视觉刺激与听觉刺激同时呈递时,是否会影响受试者对声音响度变化的判断;大脑哪些区域参与了听觉(或视觉)变化的认知过程?这些问题都非常值得研究。为了研究以上问题,我们让受试者判断两个连续呈现的听觉刺激(可能响度相同A1-A1,也可以响度变化A1-A2)的响度是否变化,同时呈递(或者不呈递)两个同步的视觉刺激(可能相同V1-V1,也可能不同V1-V2)。为实验刺激方式更全面,我们还加入了单个的声音刺激A1(保证受试者对实验刺激真实反应),以及空白刺激No-stim(计算差异波),总计10种刺激模式,以研究不同刺激模式下认知的不同过程。行为学结果表明:与单独的听觉刺激(A1-A1/A1-A2)相比,视觉刺激V1-V2同时呈递时,受试者对视听不一致的刺激的判断不仅正确率下降,而且反应时显著增加,对于视听一致的刺激的判断反应时则显著减小;而与视觉刺激V1-V1同时呈递时,受试者只在视听不一致的情况下反应正确率降低了。神经电生理结果表明:由视觉刺激影响而产生的听觉错判与单独的听觉刺激相比,差异波显示110-130 ms前中央区具有统计学差异,暗示可能此时已经存在视听交互了。而160-200 ms处统计检验发现更多的皮层区域存在差异;溯源分析也表明,对比多通道反应和单通道反应,在160-200 ms大脑Brodmann 8区、18区的活动较明显。这些都表明160-200 ms左右可能是视听交互作用早期认知最显著、最强烈的时刻。而在300-400 ms,头皮大片区域电极活动存在大量显著性差异,溯源分析表明大脑Brodmann 6区、9区和13区存在明显激活。这些都说明空间变化的视觉刺激对听觉刺激响度判断有显著的影响,即视觉的空间域和听觉的响度域存在交互作用,而且不同的刺激的交互作用体现在认知的不同过程中。例如不变的视觉刺激对听觉响度判断的影响仅体现在感知过程(正确率)中,而变化的视觉刺激则即影响了受试者对听觉响度的感知(正确率),又影响了判断(反应时)。相较于以往的研究,本课题的贡献及创新性包括:(1)首先,以往的视听交互的研究局限于对持续时间、空间位置等属性的判断,而本课题研究的范围扩展到了听觉的响度域,并且研究的是视觉和听觉变化的认知过程;(2)其次,以往的视听交互的研究中,视听刺激大多只同时呈递一次,而本实验模式中采用先后呈递的两个视听刺激(每个视听刺激中视觉和听觉刺激同时呈递)作为一个刺激组,两个视听刺激间存在影响,对两者的综合的理解才能得出对任务的判断。同时,我们选取的刺激模式不仅能够通过行为学结果反映不同视觉刺激对听觉响度判断的影响,还通过电生理学结果确定认知过程。更重要的是,如此多的刺激模式涵盖了更多的内容,排除了以往实验中的特定因素,使实验更具有普遍性。(3)再次,在该课题的研究过程中,结合了行为学、ERP、差异波和溯源分析等多种认知神经科学的研究手段,行为学结果为神经电生理分析提供一定的基础,而两者又相互映衬,从不同的侧面反映出比较统一的结果,溯源分析则体现出了这一视听认知过程中不同脑区的激活情况,并且不同时间段的脑地形图的变化特征体现了整个视听认知过程中大脑激活的区域分布特征,为更好地揭示不同脑区在特定视听认知过程中的作用提供了一定的依据。