单模态与跨模态检索哈希技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:jerryfong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术、多媒体存储技术的发展,人们的生活中充斥着海量多媒体数据,这些多媒体数据包括图像、文本、语音、视频等不同的模态。面对海量多模态数据,如何快速、有效的从中检索出感兴趣信息,是一项亟待解决的重要问题。单模态检索与跨模态检索是解决多模态数据检索的重要研究方向。哈希技术因其低存储消耗、高检索速度成为海量数据检索的研究热点,在单模态与跨模态检索研究领域得到广泛的研究与发展。本文研究单模态与跨模态检索哈希技术,通过分析现有单模态与跨模态检索哈希技术的不足,提出新模型、新方法。现有单模态检索哈希方法大多关注相似性学习或者量化误差最小化,很少有直接针对特征判别性的研究。针对特征判别性,本文分别从传统浅层方法与最近大热的深度学习方法出发,提出浅层的基于仿射变换的离散图哈希模型及深层的基于判别几何结构的深度非对称哈希模型。跨模态检索的难点在于如何弥补不同模态间的“语义鸿沟”,为解决该问题,本文分别从共同空间学习、标签指导及模态数据语义一致性三个层面提出协同子空间图哈希、标签指导相关哈希及跨模态样本-类语义一致哈希。多个公开数据集上的数值实验结果验证了本文所提方法与最相关方法相比的优越性与有效性。本文创新点如下:(1)提出一种基于仿射变换的离散图哈希方法,该方法使用联合学习策略,使图嵌入与哈希码的学习过程相互反馈、相互促进;引入仿射变换,使算法在保持邻域关系的基础上,调整图嵌入的角度及其内部结构以使其更具判别性。三个基准数据集上的图像检索实验证明了ADGH的优越性。(2)提出一种基于判别几何结构的深度非对称哈希方法,该方法定义了一种可解释的几何结构来提高深度实值特征的判别能力,同时以一种新的方式减少深度实值特征与二值哈希码之间的量化误差。四个常用数据集上的图像检索实验证明了DGADH的有效性及优越性。(3)提出协同子空间图哈希方法,该方法通过设计两阶段协同学习框架来实现跨模态检索,这种协同学习的方式充分考虑了多模态特征的多样性及跨模态检索的特征一致性。此外,所提方法分别通过拉普拉斯正则化和图相关约束来保持模态内部的邻域结构及跨模态数据的相关性。四个常用数据集上的跨模态检索实验证明了CSGH的有效性。(4)为将标签信息引入到哈希码及哈希函数学习过程中,提出一种标签指导相关哈希方法。该方法从以下两方面提出新的标签信息利用方式:1)使用标签指导学习模态通用的判别性共同隐表示;2)引入一种自适应参数来有效融合共同隐表示和标签指导表示,基于融合表示生成哈希码、训练哈希函数,从而将标签信息引入哈希码与哈希函数的学习过程。三个不同多媒体数据集上的跨模态检索实验表明,LGCH算法的检索性能优于当前表现较好的方法。(5)引入样本-类间的相似性关系,提出跨模态样本-类语义一致哈希模型,该模型通过计算样本与类之间的相似性来保持样本哈希码与类特征的语义一致性,可节省计算开销。此外,所提模型通过保持不同模态样本、类特征、共享哈希码间的语义关系,沟通不同模态间的语义鸿沟,保持模态数据语义一致性。三个常用数据集上的跨模态检索实验证明了CSSH与其他方法相比的优越性。
其他文献
场景重建与语义分析理解是计算机视觉、计算机图形学以及机器人学中的难点。随着工业和娱乐领域对数字几何需求的不断增长,对场景进行建模与分析理解比过去任何时候都更加重要。近年来深度扫描技术的快速发展使得场景的数据建模越来越便捷,由于这一技术的革新,场景的重建和语义分析技术经历了由简单到复杂以及由低维到高维的发展演变。另一方面,移动机器人经过多年的研究和发展,已经逐步走向实用化,在制造业、物流业、服务业等
从片上多核系统到高性能计算机系统,互连网络作为节点之间通信的基础部件,一直是限制系统性能提升的瓶颈。路由器是互连网络的基础结构单元,负责网络中报文的转发,是影响网络吞吐率和报文传输延迟的关键部件。路由器基本结构包括输入端口、缓存、交换开关和输出端口等。其中,缓存用于存储路由器中等待转发的报文,而交换开关负责将报文无冲突的从路由器输入端口转发到输出端口。片上网络通常通过简化路由器流水级来降低报文通过
计算机生成兵力(Computer Generated Forces,CGF)战术任务规划是在作战仿真系统中,CGF为达到其作战目的而进行的一系列规划推理和选优决断活动,是构建真实可信的作战仿真系统的重点和难点。目前的CGF战术任务规划行为建模技术存在领域知识获取困难、战场环境不确定、行为模型过于简单等问题,针对这些不足,论文以研究CGF行为建模中战术任务规划行为模型框架为目标,重点围绕战术任务规划
随着云计算技术的快速发展,云服务商为用户提供了性能强大且具有弹性的数据存储和计算资源,将数据挖掘工作外包至云环境可以显著降低用户的运行维护成本。然而,由于云环境存在数据泄露等多种安全威胁,且云服务商对于用户而言不完全可信,用户的外包数据存在隐私泄露的风险。因此,如何保证云端数据挖掘过程中数据和结果的安全性已成为云计算安全领域亟待解决的关键问题。现有的数据挖掘安全外包方案通常无法同时满足高安全性和高
云计算技术在军事、政府、企业和个人等领域取得了越来越广泛的应用,但伴随着频频发生的云数据泄露事件,其安全问题也逐渐凸显。由于用户失去了对外包至云端的数据的直接物理控制权,同时又不愿意完全信任云服务提供商,因此数据的安全和隐私问题就成了用户在使用云服务时的重要顾虑。在上传数据前使用传统的对称或非对称加密算法加密数据可以有效保护数据的机密性,但无法满足灵活、高效地共享和管理数据的需求。属性基加密作为一
区块链是在分散对等的协作主体之间就共同关注的数字证据达成共识,并在此基础上开展合作的分布式存证机制,具有多中心、防篡改、可追溯等基本特性,能够以低成本、高效率的方式为不具备信任关系的各利益主体构建信任,并促成群体之间的高效协作。区块链技术不仅能够以分布式账本的形式对金融行业发挥重要作用,而且在数据共享、信息安全等众多领域也有广泛的应用前景。共识技术作为区块链的核心技术之一,逐渐成为了学术界和工业界
目前,医学数据正在急剧增长,来自区域医疗诸多医院的病历文本数据、医学检验数据和影像数据迅速汇聚,为疾病的筛查、诊断和治疗带来曙光。医学文本数据尤其是电子病历数据,记录了患者详细的病情和治疗过程,所含信息丰富,因此,开展医学文本挖掘中关键技术的研究,提取与某疾病相关的特征并构建相应的知识图谱,可更加科学、客观地预防、筛查疾病并给出合理的治疗方案,最终为广大患者提供更好的医疗服务,具有很好的理论和实际
运动实体广泛存在于攻防体系对抗实验等军事分析仿真应用中,其连续运动行为导致时空状态更新占据了应用大部分的通信内容,成为影响和制约运行效率的关键因素。传统的通信优化技术主要面向于提高数据传输速度或过滤冗余通信链路,并不能有效解决大规模时空数据传输引起的通信瓶颈问题。因此,开展以减少时空状态信息通信量为目标的相关技术研究,对于提高通信性能,有效利用现有的计算和通信资源,满足军事分析仿真日益增长的性能需
人脑在多个时空尺度的信息交互是支撑其复杂认知和行为功能的基础,我们尝试利用磁共振成像非侵入式和较高时空分辨率的特点,研究人脑的神经信息交互机理。本文主要以静息状态下人脑的功能连接为对象,进行人脑在多时空尺度下的功能单元划分及其交互模式研究,同时探寻其结构基础。本文主要包含以下三个方面的内容:(1)人脑功能剖分方法研究。人脑的功能单元具有明显的层次性,他们之间通过复杂的功能分离和整合来完成特定的认知
在当今社会,随着传感器和计算机视觉技术的发展,人们对视频监控自动化和智能化技术有了更多的需求和研究。前景检测作为计算机视觉领域的基础技术,目的是将运动的前景物体从相对静止的背景场景中分离出来,是计算机视觉分析理解任务中的第一个问题。由于应用场景的复杂性,目前传统前景检测算法性能面临瓶颈。提高算法准确性、增强算法实时应用能力,以及提高算法鲁棒性是前景检测技术的研究重点。本文首先针对阴影和颜色伪装等应