在信息技术快速发展的今天,每天都有大量的文字、图像、音频、视频等多模态数据发布和传输在信息网络上。这些数量庞大且纷杂的数据在带来丰富内容的同时,也给信息检索带来了极大的挑战,特别是不同模态数据间的相互检索问题。当前主流搜索引擎一般采用单模态方式进行信息检索,但往往只能获得认知对象的部分或局部特性,导致数据分析的局限性。由于多模态信息之间存在着一定的相关性,多模态信息混合处理有利于综合利用包含在数据中的各种信息,解决单模态信息处理准确性低、适应性差等局限性。因此,如何直接利用多模态数据丰富的信息内涵,构建多模态特征提取及其关联表示,实现多模态信息间的互检索,是当前应用上迫切需要解决的问题。在众多的多模态数据中,人类认识世界、获取信息的最主要的两种途径是“看”和“听”。随着语音技术的发展和语音输入设备的普及,语音在手机、电脑、家用电器、物联网等现代信息网络上得到了广泛的应用。语音-图像检索在人们日常生活中也具有较大的实用价值,如儿童早教、视力缺陷人群辅助、语音智能交互、不同语言之间无需双语注释的翻译等。语音-图像跨模态检索是一个极具研究价值和技术挑战的问题。因此,本文主要关注图像和声音两种常见且大量存在的模态数据。要实现语音和图像这两种常见媒体内容之间的跨模态检索,首先要把语音、图像分别用不同的特征向量表达出来,即把语音映射到语音特征空间、把图像映射到图像特征空间,但二者的特征空间并无直接联系。如何实现这两种特征空间异构数据的关联,是实现图像-语音跨模态互检索的关键。常规的机器学习方法难以实现,而近年来发展起来的深度学习方法为解决这一问题提供了可行的技术途径。与常规的机器学习方法不同,深度学习网络可以通过大量的“语音-图像样本对”的训练把二者特征向量空间映射到同一个多模态空间,使得不同特征可以在同一框架下进行运算,从而实现特征间的关联。根据上述思路,针对语音-图像跨模态检索问题,本文从三个方面展开研究,主要工作如下:1)多模态数据相似性度量。对于跨模态检索,不同的模态数据之间存在“异质性”鸿沟,如何度量不同模态数据之间的相似度是一个关键问题。本文提出了一种多模态数据相似性度量方法,利用神经网络对语音和图像的高层语义信息进行提取,将语音特征和图像特征融合,对融合后的多模态特征进行相似性度量,提升了跨模态检索的性能。2)关键信息甄别与冗余消除。语音描述中存在关键信息和冗余信息,如何识别语音中的关键信息并提取有效特征是语音图像跨模态检索的关键问题之一。本文提出了一种语音关键信息甄别与冗余消除方法,采用一维卷积神经网络及梅尔倒谱系数进行声音特征的提取,有效提升了跨模态检索的精度。3)图像-语音交叉检索建模。针对语音和图像两种模态数据,如何对这两种不同模态非线性相关关系进行建模是重点也是难点问题。本文提出了一种图像-语音交叉检索建模方法,利用深度神经网络拟合语音和图像的非线性关联关系,通过成对的语音-图像数据的训练,直接建立起语音和图像之间的关联模型,实现了两个模态的交叉检索。本文研究跨模态检索问题,在遥感图像-语音数据库和自然图像-语音数据库上都进行了实验。实验结果表明,本论文算法在Mirflickr 25k和MS COCO数据集上比传统算法的平均准确率提高了5.54%和3.71%。本文提出的语音-图像跨模态检索算法使得人机交互过程更加便利,甚至能实现情感交互,是一种高效、实用、快速的信息检索方向。