基于深度卷积结构的图像段落描述研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:tiefer34
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
段落式图像描述任务旨在为给定图像生成描述性的自然语言段落,连接着计算机视觉和自然语言处理两个关键领域,是跨媒体智能的重要研究方向,其研究进展对于打破图像和文本间的语义鸿沟至关重要。近年来,随着深度学习的发展,得益于循环神经网络(Recurrent Neural Network,RNN)家族出色的时间序列建模能力,基于层次性RNN的解码器已被广泛采用于段落式图像描述任务上。然而,RNN结构上的限制使得这类方法存在如下问题。首先,由于捕获长时信息的能力有限,RNN生成段落这类长文本存在困难,生成的段落连贯性不足。此外,RNN的串行结构导致其训练时间复杂度较高,效率低下。受启发于卷积神经网络(Convolutional Neural Network,CNN)的特点,本文展开以下工作。提出了基于全卷积神经结构的段落解码器。将门控结构融入层次性的CNN解码器中,该解码器具有更强的长时记忆能力,并拥有并行化训练的能力。提出了一种衡量段落连贯性的指标。经在斯坦福图像-段落数据集上进行评测指标、连贯性指标、时间复杂度以及主观分析,证明所提解码器提升了生成段落的质量。提出了融合区域注意力的段落式图像描述模型Dual-CNN,增强了图像理解能力,提升了段落内句子描述的详细度和多样度。提出了一种衡量段落内句子多样度的指标。经评测指标、多样度指标、区域注意力分析、主观分析,Dual-CNN显著提升了段落式图像描述任务的性能。
其他文献
在现代导航系统中,天文导航和惯性导航的组合导航方式由于其极强的自主性和较高的精度受到越来越多的关注,但是由于其测试成本过于昂贵,导致SINS/CNS组合导航算法的发展过于缓慢,为了解决SINS/CNS组合导航在进行测试时成本过高的问题,本文设计一套实验室可用的SINS/CNS组合导航仿真系统,可以在实验室内较好的模拟SINS/CNS组合导航真实应用环境。本论文依托国家自然科学基金(61573113
R公司是某国有大型企业,近两年该企业紧跟国家“互联网+”战略步伐,积极拥抱互联网,实施数字化转型。C项目就是在这个背景下提出的对接多个互联网渠道的自动化业务处理系统项目,该系统采用了大数据技术实现对海量互联网数据的大并发处理,业务上整合了R公司内部和外部关键业务数据提升了业务处理时效及风控水平。C项目作为本文的研究案例,一共分两期,一期实施过程中采用传统开发模式;二期因为业务量的增加和需求的多样化
科技的飞速发展让我们随时随地的了解世界各地所发生的的实时信息,网络的普及也让我们更加方便的浏览和查阅自己所需要的资料,技术的进步在带给我们便利的同时,也带来很多烦恼。科技进步带来了海量的信息,存在于我们工作生活的各个角落,如何快速的整理这些信息成为了我们日常生活中不得不面对的问题。在当今这个时代我们几乎时时刻刻都在与计算机打交道,在面对这个问题的时候很容易就可以想到利用计算机来帮助我们快速的区分这
目的:2型糖尿病(Type 2 diabetes mellitus,T2DM)是一种以血糖升高为特征的慢性疾病,对身心健康具有严重的危害。其中,胰岛素抵抗(Insulinresistance,IR)是T2DM重要的发病特征。药理研究表明,IR与食欲素A(OrexinA)/下丘脑-垂体-肾上腺(Hypothalamus-pituitary-adrenal,HPA)轴通路的功能密切相关,Orexin
随着社会的不断进步,特别是物联网、大数据等新科技技术的不断发展,如何处理大信息量已经成为人们面对的迫切问题。为解决这个迫切问题,大容量光纤通信被给予了很大的重视,尤
“青年兴则国家兴,青年强则国家强”,青年是前途与希望。大学生是青年中的主力军,大学生的成长成才不仅关系个人的发展与价值的实现,更是关系到社会与国家的发展。本文从立德树人的学术视域,立足马克思主义理论、心理学、教育学等理论知识,采用文献研究法与调查研究法,从核心素养的相关基本概念入手,进行界定和辨析,揭示了立德树人与大学生核心素养之间的关系,进而对立德树人视域下大学生核心素养构成要素进行探究,提出在
随着移动无线通信的快速发展,人们对通信服务流量与质量的需求量日益增长,未来5G网络的流量业务需求也将日益增加。毫米波大规模MIMO异构网络可以通过密集化部署来满足用户日益增长的流量需求,但同时也会带来更严重的干扰问题。如何最大程度的消除干扰,并实现频谱效率在用户间的公平分配是现在研究的重点问题。而毫米波大规模MIMO异构网络的多天线结构使得在发射端能够对波束进行赋形,优化波束方向和功率,从而减轻甚
双天线GPS导航系统能够提供陆上车辆导航所需的速度、位置和航向角信息,但由于GPS信号输出频率低,并且易受干扰,尤其是在车辆转弯时,很难保证车辆航向角信息的精度,而光纤陀螺捷联惯导系统具有体积小、灵敏度高、输出频率高等众多优点,能够在较短的时间内保持一定的姿态角精度,但对于陆上车载导航光纤陀螺成本较高,因此本文提出一种基于单轴光纤陀螺的低成本的简化惯导系统(简称RISS)设计方案,利用设计的简化惯
随着网络传输与数据计算等需求的不断增长,IT(Information Technology,信息技术)机房设备资产的规模与数量也愈发膨胀。在传统的机房管理模式下,管理人员需要对大量的设备进行人工盘点,并进行纸面的信息录入。人工进行信息收集录入与管理带来了大量的人力消耗,并无法保证设备信息录入的准确性与快速性。随着通信与互联网行业的快速发展,对IT机房设备资产管理方式的信息化与智能化变得愈发得迫切。
目的:中暑是一种严重的热性疾病,主要表现为体温过高与中枢神经系统功能障碍,严重的中暑可导致多脏器功能衰竭,具有较高的死亡率与致残率。当前研究认为,下丘脑主动参与体温调节功能障碍,在重症中暑发生过程中具有关键作用,但目前具体病理生理机制尚未明确。本研究中通过建立重症中暑小鼠模型,利用组织病理学、二维荧光差异凝胶电泳分析、基质辅助激光解吸电离飞行时间质谱明确下丘脑的损伤并分析鉴定下丘脑差异表达的蛋白质