【摘 要】
:
随着互联网的发展,图像、文本、视频和音频等形式的网络数据迅速增加,人们对跨媒体检索的需求也越来越灵活。目前,跨媒体检索的研究受到了很多学者的关注,但是现有的跨媒体检索主要是聚焦在粗粒度级别的跨媒体检索,对细粒度级别的相关研究较少,无法满足实际的应用需求。而细粒度跨媒体检索作为一个新兴的研究方向,不仅面临跨媒体检索方向的媒体鸿沟问题,还需要考虑细粒度方向类间差异小,类内差异大的问题。为了解决这两个主
论文部分内容阅读
随着互联网的发展,图像、文本、视频和音频等形式的网络数据迅速增加,人们对跨媒体检索的需求也越来越灵活。目前,跨媒体检索的研究受到了很多学者的关注,但是现有的跨媒体检索主要是聚焦在粗粒度级别的跨媒体检索,对细粒度级别的相关研究较少,无法满足实际的应用需求。而细粒度跨媒体检索作为一个新兴的研究方向,不仅面临跨媒体检索方向的媒体鸿沟问题,还需要考虑细粒度方向类间差异小,类内差异大的问题。为了解决这两个主要问题,本文针对细粒度跨媒体检索展开了深入的研究,本文的主要创新点如下:(1)针对现有跨媒体检索方法往往忽略数据的细粒度特征这一问题,本文提出了一种基于多模型的细粒度跨媒体检索方法。该方法通过为不同媒体设计各自的专用网络,并为四种媒体设计了一个公共网络,从而兼顾了不同媒体的专有特征以及公共特征。基于该模型,可以在学习媒体专有属性的同时学习不同媒体间的相关性,从而有效地提升了跨媒体检索的准确率。(2)针对现有的大部分细粒度跨媒体检索方法往往忽略文本所表达语义信息的问题,本文提出了一种基于深度监督与特征融合的细粒度跨媒体检索方法。该方法通过深度监督网络,在标签空间和公共空间内,利用数据的标签信息和语义信息来学习不同媒体特征间的相关性,并最大程度地减小分类损失、判别损失和三元组损失,从而在保留不同语义类别样本差异性的同时消除媒体鸿沟。此外该方法还将标签特征和语义特征相结合来进行相似性度量,进一步提升了跨媒体检索的性能。(3)针对细粒度特征难以准确提取的问题,本文提出了一种基于注意力机制与模态依赖的细粒度跨媒体检索方法。该方法引入了注意力机制,并依赖图像数据作为中间媒介,从而深入挖掘同一媒体数据内和不同媒体数据间的潜在关系。此外该方法还提出了基于关键帧的视频去噪方法,通过样本选择的方法获得干净的数据集,提升了跨媒体检索的准确率。
其他文献
有机太阳能电池因为其活性层原料来源广、质量轻、透明和可印刷加工等优点,成为研究热点。针对电池结构,活性层材料,电荷传输层材料以及电极材料等方面,研究者们探索了很多方案,试图解决目前有机太阳能电池面临的效率低下和稳定性差的问题。近年来,由于新型活性层材料的出现,有机太阳能电池得到了快速发展,单结器件的光电转化效率已经超过18%,叠层器件的效率也突破了17%,但依旧没有能够达到商业化的要求。相比于活性
本论文在国家重大科技专项“数控机床关键功能部件可靠性增长工程(2018ZX04039001)”支持下,以自动换刀装置及其空间复合凸轮为对象,研究了自动换刀装置及其空间复合凸轮廓面方程的建立、精度检测和评价、精度检测试验台的搭建、以及精度检测和精度保持性试验等方面的内容。全文主要取得如下成果:在凸轮廓面分析方面,通过分析自动换刀装置及其空间复合凸轮的工作原理,计算凸轮旋转角度与输出运动间的关系,得到
CsPbX3(X=Cl,Br,I)钙钛矿纳米晶凭借其优异的光电性能成为近年来的研究热点,在激光和光伏器件领域具有广阔的应用前景。离子掺杂和表面包覆作为提高钙钛矿稳定性的常用手段,也得到了深入的研究。本文重点关注Mn2+掺杂钙钛矿在有源波导纤维中的应用以及CsPbBr3@ZnS异质结的制备和载流子动力学研究,主要研究结果如下:(1)利用CsPbBr3量子点作为发光源与聚合物混合制备波导纤维,其光学传
固体火箭冲压发动机因其结构简单、高比冲、性能可靠等出色优势成为战术导弹的理想动力装置,而燃气流量调节技术不仅可以将空燃比控制在设定范围内,提高发动机性能和安全性,还可以实现发动机的推力调节,提高导弹的机动性和突防能力,已经成为目前各军事大国研究的热点。本文针对壅塞式流量可调燃气发生器,开展燃气流量调节技术和控制方法研究。(1)滑盘式的燃气流量调节系统工作原理与系统设计。介绍本文所设计的壅塞式滑盘阀
药品质量的准确与否不仅影响制药企业的信誉与经济效益,更是直接影响到药品的安全性和有效性。实现药品在生产过程中高精度的微量称重,是保证药品质量准确和提高生产效率的关键环节。针对这一问题,提出了一种以平面电容作为称重传感器的非接触式称重方法。不同于平行极板电容传感器,平面电容传感器的两个极板处于同一平面内,利用边缘电场进行检测,具有单边穿透、信号强度可调及无损检测等特点,可应用于样本物理特性的介电测量
光学相干层析术广泛应用于生物医学成像领域,但由于光学元件和被测样品引入的像差降低成像质量,导致细节信息丢失。传统像差校正方案采用硬件补偿方法,存在系统结构复杂,器件昂贵等问题。计算校正方案采用数据后处理方法,无须增加硬件成本,但需获知成像系统具体参数,存在过程繁琐,像差校正类型有限以及评价函数的选取具有局限性等问题。本文针对如何低成本地快速校正多种像差问题,在建立像差校正滤波器及构建像差计算校正算