基于注意力机制的视频哈希检索方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:xby520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着互联网及移动通讯技术的迅猛发展,各种类型的多媒体数据呈爆炸性增长,特别是视频数据,因其形象、生动的特性逐渐成为互联网用户获取信息的重要数据形式,各种电视剧、电影等丰富视频资源在视频网站和平台的广泛传播更是加速了这一趋势。同时,短视频平台的兴起,为互联网用户快速上传和下载视频内容也提供了便利。大量视频数据源源不断地产生,在丰富互联网用户文化娱乐生活的同时,也为互联网视频的搜索和推荐带来了一系列挑战。如何将用户想要的结果从海量视频数据中检索出来已成为当下一个研究热点。基于内容的视频哈希检索方法正是解决这一问题的一个可行方案。基于内容的视频哈希检索方法通过将视频内容信息映射成离散的二值码,即映射成哈希码,来实现大规模视频数据的准确和快速检索。由于映射成的哈希码是离散的,可以通过快速的异或操作来计算不同视频之间的海明距离,大大降低了计算复杂度和存储空间。现有的视频哈希检索方法大多将视频中每一帧的重要性同等看待。然而,在实际应用中,视频帧与帧之间的重要性是不同的。因此,应该考虑视频不同帧的重要性的差别来设计视频哈希算法。基于这一动机,本论文提出了一种基于注意力机制的视频哈希检索方法。该方法的主要研究工作总结如下:(1)提出了一种利用卷积神经网络和长短期记忆神经网络来学习视频空间信息和时序信息的网络结构,该网络结构可以学习到视频的时空特征表示,为基于哈希学习的视频检索打下基础;(2)在视频哈希学习网络中引入注意力机制,通过注意力机制为视频帧赋予不同的权重,通过权重的变化捕捉到视频内容中最具有代表性的信息,提升了视频特征的表示能力;(3)基于孪生网络架构,构建视频对作为网络输入,进一步的基于视频对来设计优化目标函数,同时在目标函数中增加哈希码性质约束项,从而减少哈希码冗余信息,增强哈希码的表征能力。本文方法通过使用卷积神经网络和基于注意力机制的长短期记忆神经网络,可以同时学习到视频的空间信息和时序信息,得到良好的视频级特征表示。结合基于视频对的损失函数,可以获得判别能力强的视频哈希码。通过在三个公开数据集上实验表明,与其他视频哈希检索方法的相比,本文方法在视频检索准确率等多个性能指标有显著的提升。
其他文献
目的:观察脂肪细胞激素瘦素对睡眠剥夺小鼠下丘脑GABA含量以及受体表达的影响,并探讨其可能机制。方法:采用随机数字分布法将雄性C57BL/6小鼠分成3组:对照组(Con组)、睡眠剥夺组(SD组)、瘦素补充组(L-SD组)。对照组设置水环境不剥夺睡眠;睡眠剥夺组利用“改良多平台水环境法”建立小鼠睡眠剥夺模型;瘦素补充组(L-SD组)在剥夺同时予以瘦素1.3mg/(kg·d)腹腔给药。睡眠剥夺7天后,
我国农田土壤镉(Cd)污染问题较为严峻,而烟草作为一种重要的经济作物,其叶部对Cd的积累能力强。植烟土壤重金属污染不仅影响烟叶的产量和品质,还对人体健康构成威胁,因此降低烟叶Cd含量,已成为目前保障烤烟安全生产及原料出口关注的焦点。本研究以筛选得到的烟草Cd低积累材料(RG11)为研究对象,Cd高积累材料(Yuyan5)为对照,结合水培试验和根袋土培试验,研究烟草Cd低积累材料根系Cd吸收特征,探
机械设备在运行过程中所产生的振动信号可为机械设备的故障诊断、全寿命周期预测以及可靠性分析提供重要的信息支持。随着现代机械设备的快速发展,其振动信号中所蕴涵频率也
传统碱-硼-硅(ABS)系统无公害陶瓷釉上颜料熔剂存在光泽度低和耐蚀性差等不足。本课题以提高熔剂的耐蚀性为主要目的,在ABS系统无公害釉上颜料熔剂的基础上,通过合理设计熔剂
针对装配式建筑中主要竖向受力构件—柱,其节点连接区域是整个结构抗侧力体系的关键之处,对结构的安全与稳定起着至关重要的作用,也是影响结构抗震性能和制约装配式建筑发展
环渤海湾被称为“北方黄金海岸”,同时油气资源丰富,油气勘探开发、石油运输量和运输频率逐年增大,加上环渤海地区重工业沿岸聚集,这使得渤海海域的污染不断加剧。海洋沉积物
随着社会经济的不断发展,地下水硝酸盐污染日益加剧,对环境和人体健康存在巨大的威胁。固相反硝化是高效稳定去除地下水硝酸盐的生物技术。本研究以聚己内酯(PCL)作为微生物的
近年来,由重金属引起的水污染问题十分严重。固定化微生物技术是解决这一问题的有效途径,因其具有较强的处理效果,适用性广且可多次回收利用等特点,已成为当前的研究热点。本
近些年来,锂硫电池因其成本低、来源丰富、环境友好、能量密度高(2600 Wh kg-1)等优势受到了研究者们的广泛关注,被认为是最有潜力的下一代二次电池技术。然而目前锂硫电池实
光纤复合绝缘子的电场与温度场研究有助于复合绝缘子染污局部电弧光纤检测技术的应用发展。本文仿真研究了复合绝缘子内在界面植入光纤在污秽条件下的电场分布以及局部电弧时