论文部分内容阅读
近年来,随着移动互联网技术的不断发展以及移动设备的不断普及,互联网上涌现了大量的多模态数据(图像、文本、音频、视频等),其规模越来越庞大,种类越来越多样。随着多模态数据量的迅猛增长,如何实现不同模态数据间的检索已经成为信息检索领域的研究热点。哈希方法由于存储需求低和检索速度快的特性,可以方便快捷地进行跨模态检索。哈希方法的核心在于将原始数据的特征进行二进制编码,然后通过计算待查询数据的哈希码和原始数据哈希码之间的汉明距离得到检索结果,大大提高了数据的检索效率;同时,以哈希码代替原始数据存储,也极大的缩小了对存储的需求。现有的哈希方法的研究方向可以分为:单模态哈希方法和跨模态哈希方法。本文聚焦于跨模态哈希方法,其主要目的是实现各个模态数据间的交叉检索。跨模态哈希方法根据是否使用训练数据的标签信息可分为:监督跨模态哈希方法、无监督跨模态哈希方法和弱监督跨模态哈希方法。弱监督跨模态哈希方法利用少量的监督信息以及所有训练数据的特征信息来学习哈希码和哈希函数,适用于数据集中少量数据的监督信息已知的情况。弱监督跨模态哈希方法面临着训练数据间成对关系不明确和标签信息不完整的问题,同时面临着底层特征和高级语义间的鸿沟。现有的弱监督跨模态哈希检索方法大多仅仅利用了成对数据间的语义相似性关系,缺乏对无标签数据间关系的深入挖掘,而且没有探究模态内部数据特征间的关系,影响了检索精度。本文针对这些问题开展研究,提出了三种弱监督跨模态哈希方法。论文的主要工作如下:(1)提出了一种基于跨模态关系传递的半成对弱监督多模态哈希检索方法。该方法利用跨模态关系传递将少量成对数据间的相似性关系传递到无监督数据,得到模态数据间的关系矩阵,以此将不同模态进行关联。然后以得到的关系矩阵为桥梁,结合现有的监督跨模态哈希方法训练得到哈希码和哈希函数。该方法克服了弱监督跨模态哈希检索方法中缺少无监督数据间成对关系的问题。实验结果表明该方法相比于现有弱监督跨模态哈希方法具有更高的检索精度。(2)提出了一种基于跨模态联合类标传递的弱监督跨模态哈希检索方法。该方法首先利用跨模态联合类标传递技术得到无监督训练数据的标签,其次将标签信息表示为哈希码的线性组合。该方法通过跨模态类标传递获得了无监督数据的标签信息,其优势在于构造哈希目标函数时利用了所有训练数据的标签信息而不是少量的标签信息,实验结果表明该方法的效果优于现有弱监督跨模态哈希方法。(3)提出了一种基于跨模态联合类标传递的高效弱监督跨模态哈希检索方法。该方法首先利用跨模态联合类标传递技术得到无监督训练数据的标签,接着将哈希码表示为标签信息的线性组合,通过这种方式在求解目标函数时精简了迭代公式并且减少了迭代次数。与基于跨模态联合类标传递的弱监督跨模态哈希检索方法相比,该方法大大减少了迭代求解哈希码以及哈希函数时的计算量,加快了训练速度;并且有效的减少了误差的累积,提高了检索的精度。实验结果表明该方法具有较快的训练速度和较高的精确率。综上,本文利用跨模态关系传递和跨模态联合类标传递,从模态内高层语义相似性搜索和模态间高层语义相似性搜索两个方面,提出了三种弱监督跨模态哈希检索方法,大量实验结果表明了所提方法的可行性和相对于现有方法的优越性。