利用显式引导注意力机制的图像检索深度哈希方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:aa284636706
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在相当长的一段时间里,随着移动端影像技术和新兴社交网站的快速发展,照片和视频等视觉数据呈现爆炸性增长的趋势,这些视觉数据中蕴含着巨量的信息,早已引起了学术界和工业界对高效的视觉数据检索算法的探索兴趣。精确的最近邻搜索方法对时间和算力的要求都很高,而视觉数据又有存储、计算开销大,视觉到语义信息表示困难等问题,这都成为视觉数据检索算法面临的挑战。由于哈希检索方法在存储、计算上表现出的效率优势,以及深度方法在视觉数据上表现出的无可比拟的特征提取能力,二者结合的深度哈希方法成为了应对视觉数据检索问题非常有前景的重要方法。由于卷积神经网络的图像特征提取能力可以轻松超过手工设计特征,因此大多数端到端的深度哈希方法直接使用全连接层的输出来近似哈希码,通过编码全局语义信息学习哈希函数。而在图像检索任务中,图像中可能存在多个实例,模型应当关注的是那些与检索目标高度相关的局部的信息,至于周边的背景信息对于检索任务则是冗余的,甚至有干扰性,图像空间局部信息的损失可能是模型检索性能瓶颈的原因之一。注意力机制是公认的发掘对任务贡献度高的局部信息好的方法,它是一种普适性的思路,没有严格的数学定义,很多深度模型把它作为一个分支网络,对卷积神经网络的某个中间特征进行映射、重构组合,得到的张量即视作空间或者通道的注意力图,作为掩码融合到主干网络对应特征图上,通过主干任务的损失函数引导自发学习调整。这种方法在解释上存在比较大的主观性。针对以上问题,本文提出了一种新的显式引导的注意力机制以及在此帮助下的图像检索深度哈希方法。在哈希检索问题上,本文方法避免了过去深度哈希方法中简单地以全连接层特征作近似哈希码,忽视图像局部信息的做法,借助广泛使用的注意力机制,在提取图像特征作为近似哈希码时,将图像的全局语义信息和局部信息综合纳入了考虑,在检索任务关心对象所在的局部上给予了高的权重,以获得更适应检索任务需求,更具判别力的图像特征。在注意力机制的生成和作用上,本文改变了视觉领域深度方法最常采用的由分支网络生成注意力掩码融合到主干网络、并跟随主干网络任务自发训练的注意力机制模式,提出了显式引导的注意力机制,即先在生成注意力图的网络分支上使用分类任务进行预训练,显式引导地得到具有明确语义含义的空间注意力图,用它作为辅助的先验空间信息帮助获取图片局部信息。为了验证提出模型的效果,本文在三个图像检索任务常用数据集上进行了实验,与其他有监督的深度和非深度哈希方法进行了性能对比,本文提出的方法均有出色的表现。并且本文提出的显式引导的注意力机制作为一个独立的网络分支,可以移植到视觉领域其他深度模型当中,以提高模型的特征提取能力,具有比较高的可移植性和实用性。
其他文献
三维Li扩散通道的Li3V2(PO4)3具有较高的比容量和电压,作为锂离子电池正极材料,有很大发展前景。本文研究了低成本的碳热还原法合成Li3V2(PO4)3的合成条件,并进行离子掺杂改善其
本文通过在基础饲料中添加不同含量的维生素B1、维生素B6,探究其对许氏平鲉幼鱼生长、代谢、抗氧化、转氨酶基因表达水平、肠道菌群及消化等影响,得出许氏平鲉幼鱼对饲料中维
随着住宅产业化的不断发展,绿色节能型的建筑是现在建筑业的目标,而装配式结构正是绿色节能型建筑,故装配式建筑将会是住宅产业化发展的主要方向。装配式建筑的连接方式是其
钢框架支撑体系是钢结构建筑的一种重要的结构形式,是一种具有良好抗侧能力的结构形式。对于钢框架支撑体系来说,支撑的布置对结构的整体抗侧刚度具有重要影响。同时,钢框架
因耐久性不足导致的结构提前失效问题,带来了巨大的经济损失和资源浪费。因此,着力提高混凝土承载力性能的同时,深入研究混凝土劣化机理对可持续发展理念的落实具有重要意义
W型火焰锅炉技术是我国大型电站锅炉燃用低挥发份燃料的主要燃烧方式之一,目前我国运行的W型火焰锅炉中普遍存在着火焰下射深度不够、NO_x排放过高、飞灰含碳量过高、无烟煤
旋喷桩复合地基作为一种新型的软基处理方式,虽然出现的时间较短,但因其加固作用较好等优点而被广泛应用于既有地基加固工程之中。目前许多大型工厂产生的废料逐渐增多,原有
目的:汽化过氧化氢(VHP)是一种高效、无毒、无残留的化学消毒剂,随着越来越多的人对绿色消毒剂的关注,VHP消毒净化系统被广泛应用于医院、微生物实验室、制药行业、食品制造
网络借贷是指借贷双方通过网络借贷平台而不是传统银行和其他金融机构进行的借贷行为。作为一种新的金融模式,网络借贷不仅可以为投资者和融资者提供交易信息和交易场景,还充
由柄锈菌(Puccinia helianthi Schw.)引起的向日葵锈病是发生在向日葵上重要的真菌病害之一,严重时会影响品质及含油量。MicroRNA(miRNA)是植物体内普遍存在的一种非编码单链