图片和文字是视觉刺激呈现的主要形式。本研究利用ERP (Event relationship potental)技术通过两个语义一致性判断实验探究图文整合的神经关联,语义一致性判断任务要求被试判断两个刺激(文-文/文-图)是否能整合成合理的语义。两个实验的基线都是文文条件。实验1将图片放在文字后,探究图片即时加工时的图文整合神经机制。实验二将图片放在文字前,以便将图片的加工与语义的整合加工分离开。仅对语义一致条件下的被试正确反应的试次进行分析。实验一的结果显示,在语义整合阶段,文-图比文文诱发了一个更正的LPCo图片语义加工的模糊性使得文图比文文整合具有更多的右半球激活且在600-900ms文图整合激活了右侧前额叶。但实验二中文文与文图整合诱发的LPC不存在显著差异,语义整合激活的脑区也无显著差异。这是因为图片在参与语义整合时已进行充分的加工。两实验中图片刺激呈现200-300ms比文字刺激在双侧前额区诱发出一个更负的N200-300.这一成分或许反应图片语义提取中的表征转换。本研究的实验结果说明图片和文字的整合不同于文字与文字的整合,前者需要前额区参与的独特的语义表征转换过程以及右侧前额叶对后期语义整合的调控,但图片和文字语义整合加工的最终形式是一致的。