人工智能经过几十年的发展已经取得了许多令人瞩目的成就,但也面临一些瓶颈问题,产生了争论和分歧。现在,大多数科研人员认为对人类认知和智能本质的研究将会促进对人工智能的深刻理解,并为之提供新的思路。听觉感知和认知作为人类完整认知功能的一个重要组成部分,有着极为重要的不可替代的作用。但是,目前人们对它的本质、规律以及与其它认知功能关系的了解程度还远远不够。本研究是国家自然科学基金项目“视觉听觉跨模态相干性协同学习算法”(ID：60873139)的重要组成部分,属于探索性研究。有关听觉感知和认知方面的研究认为：听觉感知认知应该包括基于听觉的注意、感觉、辨别、识别、可懂度、情绪、记忆等方面,尤其值得研究的是听觉场景分析、真实世界的听觉认知以及听觉与视觉的复杂关系等方面。根据目前有关听觉方面的研究成果,本文主要针对属于听觉认知范畴的听觉感知进行研究。首先从行为学水平进行了听觉的部分基本功能、听觉场景分析、真实世界听觉认知进行了研究,建立了听觉特征捆绑认知模型及其计算模型。在此基础上,为了能够更深入地理解听觉感知的本质及其过程,我们通过ERPs技术对听觉早期认知加工进行了较为深入的分析和研究,并结合视觉早期认知加工不仅发现了一些新的成分,而且提出了听觉视觉在脑区上的相干性分析方法；随后,对听觉视觉正相干时的早期成分变化与记忆的关系进行了剖析；最后,对单通道听觉和视听觉双通道ERPs的自动分类算法进行了研究。主要创新点如下：(1)建立了听觉特征捆绑认知模型及计算模型。(2)基于听觉、视觉早期认知加工进行了各自的成分研究并结合地形图分析,发现并命名了一种分布在颞枕区的TO-P2成分,然后进行了基于脑区的听觉与视觉相干性分析。(3)进行了听觉视觉正性相干时早期ERPs成分变化与记忆编码过程关系的研究,并提出EEVME效应。(4)提出了单通道听觉和视听觉双通道ERPs自动分类方法TSFEC,这种基于时间-空间特征提取的分类方法,其分类正确率达到90%,明显高于传统的分类方法。总之,围绕着听觉感知及与视觉相干性问题,本研究借助ERPs技术、认知心理学、数据挖掘、认知建模等方法探索了听觉认知及其复杂的神经机制,重点对视听觉早期认知加工的成分和二者之间的相干性问题进行了分析研究,部分研究结果有望为人工智能研究领域提供一些补充和参考。文中提出的TO-P2成分、EEVME效应以及TSFEC分类方法是现在ERPs的研究技术的有益补充,对脑—机接口技术也会有一定的贡献。