弱监督跨模态哈希检索方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:robert_xt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着移动互联网技术的不断发展以及移动设备的不断普及,互联网上涌现了大量的多模态数据(图像、文本、音频、视频等),其规模越来越庞大,种类越来越多样。随着多模态数据量的迅猛增长,如何实现不同模态数据间的检索已经成为信息检索领域的研究热点。哈希方法由于存储需求低和检索速度快的特性,可以方便快捷地进行跨模态检索。哈希方法的核心在于将原始数据的特征进行二进制编码,然后通过计算待查询数据的哈希码和原始数据哈希码之间的汉明距离得到检索结果,大大提高了数据的检索效率;同时,以哈希码代替原始数据存储,也极大的缩小了对存储的需求。现有的哈希方法的研究方向可以分为:单模态哈希方法和跨模态哈希方法。本文聚焦于跨模态哈希方法,其主要目的是实现各个模态数据间的交叉检索。跨模态哈希方法根据是否使用训练数据的标签信息可分为:监督跨模态哈希方法、无监督跨模态哈希方法和弱监督跨模态哈希方法。弱监督跨模态哈希方法利用少量的监督信息以及所有训练数据的特征信息来学习哈希码和哈希函数,适用于数据集中少量数据的监督信息已知的情况。弱监督跨模态哈希方法面临着训练数据间成对关系不明确和标签信息不完整的问题,同时面临着底层特征和高级语义间的鸿沟。现有的弱监督跨模态哈希检索方法大多仅仅利用了成对数据间的语义相似性关系,缺乏对无标签数据间关系的深入挖掘,而且没有探究模态内部数据特征间的关系,影响了检索精度。本文针对这些问题开展研究,提出了三种弱监督跨模态哈希方法。论文的主要工作如下:(1)提出了一种基于跨模态关系传递的半成对弱监督多模态哈希检索方法。该方法利用跨模态关系传递将少量成对数据间的相似性关系传递到无监督数据,得到模态数据间的关系矩阵,以此将不同模态进行关联。然后以得到的关系矩阵为桥梁,结合现有的监督跨模态哈希方法训练得到哈希码和哈希函数。该方法克服了弱监督跨模态哈希检索方法中缺少无监督数据间成对关系的问题。实验结果表明该方法相比于现有弱监督跨模态哈希方法具有更高的检索精度。(2)提出了一种基于跨模态联合类标传递的弱监督跨模态哈希检索方法。该方法首先利用跨模态联合类标传递技术得到无监督训练数据的标签,其次将标签信息表示为哈希码的线性组合。该方法通过跨模态类标传递获得了无监督数据的标签信息,其优势在于构造哈希目标函数时利用了所有训练数据的标签信息而不是少量的标签信息,实验结果表明该方法的效果优于现有弱监督跨模态哈希方法。(3)提出了一种基于跨模态联合类标传递的高效弱监督跨模态哈希检索方法。该方法首先利用跨模态联合类标传递技术得到无监督训练数据的标签,接着将哈希码表示为标签信息的线性组合,通过这种方式在求解目标函数时精简了迭代公式并且减少了迭代次数。与基于跨模态联合类标传递的弱监督跨模态哈希检索方法相比,该方法大大减少了迭代求解哈希码以及哈希函数时的计算量,加快了训练速度;并且有效的减少了误差的累积,提高了检索的精度。实验结果表明该方法具有较快的训练速度和较高的精确率。综上,本文利用跨模态关系传递和跨模态联合类标传递,从模态内高层语义相似性搜索和模态间高层语义相似性搜索两个方面,提出了三种弱监督跨模态哈希检索方法,大量实验结果表明了所提方法的可行性和相对于现有方法的优越性。
其他文献
构架载荷谱分析是对构架进行疲劳可靠性评估的基础,现以某一车型的跟踪实验为背景,运用测力弹簧方法记录动力转向架轴箱弹簧的垂向载荷时间历程.选取某一运行区间的载荷数据
随着电子器件的迅速发展,人们对信息的需求也越来越大,对器件的要求也越来越高,总体趋势是追求信息处理速度更快,耗能更少,存储能力更强,运行更稳定。这些依赖于器件的微型化
临清潭腿是中国传统武术的重要流派之一,以其精湛的腿法名震武林,是鲁冀地域文化交融的特色拳种。然而,在大力弘扬中华传统文化的当下,临清潭腿所包含的文化意蕴至今未被充分
瓦登伯革氏症候群又称耳聋眼病白发综合征,是少见的常染色体显性遗传病。患者多因耳聋及皮肤色素障碍而首诊于耳鼻喉或皮肤科,因临床表现度差异较大,眼科医生容易忽视对本病的诊断和认识,易发生误诊,本文报道一家系13例患者。  1 病例介绍  先证者Ⅲ3,女,64岁,汉族。主因双眼视力逐渐下降2年来我院就诊。查体:智力正常,听力正常,下颌宽大,鼻根宽阔,鼻梁低平,头发银白,心血管及骨骼系统未见异常,皮肤颜
我国丰富的矿产资源在国民经济的高速发展中发挥了不可或缺的能源补给作用,因此实现安全、高效开采是国家能源持续有效供应的重要保障。据统计,每年有上亿吨煤炭因其氧化自燃
吕碧城的出生光绪九年(1883年)阴历六月,山西学政吕凤岐(1837—1895年)的继室严(士瑜)氏,生下了第三个女孩:贤锡(碧城)。
对于设计人员来说,彩色设计稿通常都采用桌面小幅面彩色喷墨打印机输出。没有专业的数字打样系统,怎么保证设计效果与印刷更接近呢?
目的分析老年女性性激素水平与轻度认知功能障碍的相关性。方法将76例存在轻度认知功能障碍(MCI)的老年女性设为MCI组,70例无认知功能障碍的老年女性设为正常组,对所有纳入研