【摘 要】
:
由于互联网上的多媒体数据爆炸式增长,人们对于能够方便快捷地检索多模态数据的需求日益增强,跨模态检索已经成为当前的研究热点。为了满足实际应用中低存储成本和高查询速度的要求,哈希技术在跨模态检索领域备受关注,它将高维多模态数据映射到公共的汉明空间进行模态间地相互检索。本文主要研究使用深度神经网络将多模态数据投影到公共的汉明空间,从减小编码误差、挖掘多模态数据的语义信息和缩小跨模态数据之间的差异性三个角
论文部分内容阅读
由于互联网上的多媒体数据爆炸式增长,人们对于能够方便快捷地检索多模态数据的需求日益增强,跨模态检索已经成为当前的研究热点。为了满足实际应用中低存储成本和高查询速度的要求,哈希技术在跨模态检索领域备受关注,它将高维多模态数据映射到公共的汉明空间进行模态间地相互检索。本文主要研究使用深度神经网络将多模态数据投影到公共的汉明空间,从减小编码误差、挖掘多模态数据的语义信息和缩小跨模态数据之间的差异性三个角度出发,使得使用图像检索文本或使用文本检索图像的效果更加优异。为了实现更加优秀的跨模态检索效果,本文提出了如下三种基于深度学习的哈希跨模态检索技术:1.为了减小编码误差,提出一种基于深度排序哈希的跨模态检索方法(Deep Rankingbased Hashing for Cross-Modal Retrieval,DRH)。该方法使用深度神经网络将特征学习与哈希码学习融合到一个端到端的框架,使用成对损失缩小不同模态之间的语义鸿沟。在编码函数方面,该方法使用基于排序的编码函数降低编码误差,同时使用Adaboost方法减少哈希码之间的冗余。2.为了深入挖掘跨模态数据的语义信息,提出一种基于深度三元组哈希的跨模态检索方法(Deep Triplet-based Hashing for Cross-Modal Retrieval,DTH)。该方法使用三元组标签将三个实例之间的相对关系转化为监督信息充分探究模态内及模态间的相对相似关系,并使用正则解决哈希码不连续的问题同时最大化哈希码所包含的信息。3.为了降低跨模态数据的异质性差异,提出一种基于生成式对抗网络哈希的跨模态检索算法(Generative Adversarial Networks for Cross-Modal Hashing,GANCMH)。该方法通过生成式对抗网络对多模态数据的联合分布进行建模,模态内的生成模型和判别模型挖掘模态内部的语义信息,而模态间的生成模型和判别模型学习多模态数据在汉明空间的公共表示。模态间和模态内的生成模型和判别模型相互博弈,促进跨模态数据的相关性学习。本文在MIRFlickr-25K、Wiki和NUS-WIDE-10K三个跨模态数据集上进行了图文互检实验,结果表明本文所提的三种算法在相同的实验设置下与其它五种流行的哈希跨模态算法相比具有一定的优越性、有效性和可行性。
其他文献
无线通讯和传感器技术的发展以及移动智能设备的普及,使得以设备为中心的无线传感网络转为以人为中心的移动群智感知。移动群智感知将感知任务以众包的方式外包给一群拥有智
航空轴承作为支撑发动机转子系统的核心部件,其可靠性是整个发动机转子系统可靠工作的保证,直接影响到发动机的整体性能和寿命。根据国军标要求,航空轴承在装机前必须要在地
与传统主机游戏在我国的发展糟糕境遇不同,我国在智能手机时代的发展初期,便显现出优势,随着智能硬件设备价格被小米等国产厂商拉低,和人民日益增长的可支配收入,中国成为了全球智能手机最大的生产国和消费国,与之而来的是我国移动游戏产业的井喷式发展。借助智能移动支付产业的发展,移动游戏企业出现了与传统行业不同的交易模式和业务特点,进一步影响其收入确认的方式。在新收入准则发布后,由于不同企业财务管理人员对新准
由于天文望远镜各方面性能的提高,天文学的研究和发现有了飞速的发展,人类对宇宙的认识也随之有了很大的提高。随着数据的不断积累,天文学已经到了一个“数据雪崩”的时代。
如今,超高压电网采取集中监控、统一调度的模式统筹管理,变电设备隐患、缺陷的排查很大程度上依赖于设备状态监视系统。这种工作模式下,设备的指标示数往往是在“临界”、甚至“越限”才会被运维人员发现,工作前瞻性不足、贻误“苗头性”缺陷治理时机,工作效率、操作精度受到很大制约,极易造成“小恙成疾”、“小病成灾”的被动局面。当前,社会经济的飞速发展对电网安全提出更高需求,尤其对供电的可靠性、稳定性要求更为严格
感知识别技术是将硬件设备与数据处理技术相结合,从而感知识别周围环境。随着物联网技术的发展,感知识别技术逐步应用于人类生活,如基于雷达的人群密度估计方法、基于RFID的
近年来,随着数据挖掘、机器学习、深度学习等技术的兴起与发展,企业从普通用户处收集到了大量的数据,并对这些数据进行分析处理来了解用户的习惯和喜好,从而向用户提供更加个
因特网技术的不断普及和发展,使得社会对网络的依赖越来越多,网络已成为经济社会发展的重要基础设施。网络在带给人们方便的同时也给社会和个人带来安全威胁。网络入侵检测技术通过对网络流量数据中潜在的入侵攻击行为进行检测识别,为社会和个人提供防护,维护网络安全,抵御网络安全威胁。传统的网络入侵检测技术需要依靠专家知识人工设计特征集对网络数据进行特征匹配,或使用基于机器学习的分类、聚类算法进行检测识别任务。上
数据挖掘能够从大量数据中发掘出有效信息和潜在模型,而聚类分析作为其中的一项重要技术,通过将数据分类来发现特征,被广泛运用于商业、医学、科研等领域。然而,在对数据进行
近年来,网络攻击已导致全球范围内多起电力系统停电事故,严重影响了社会生产活动甚至威胁到国家安全。造成停电事故的主要原因之一是网络攻击通过对信息层的破坏渗透影响物理