基于模态融合的短视频分类

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:casterisme
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术和网络技术的不断发展,在互联网和移动平台上产生了大量的流媒体数据,其中流媒体数据中视频数据占比很大。视频分类是计算机视觉中的一个基础研究方向,是解决视频标注、视频检索的重要中间步骤,也是管理庞大多媒体数据的重要方法。近年来,随着深度学习不断发展并取得很好的成绩,越来越多的研究者将深度学习运用到视频相关技术中。基于深度学习的视频分类算法不仅提升了视频分类精度,同时还拓展了分类类别,并已经逐步用于实际的视频分类任务中,因此基于深度学习的视频分类具有很高的研究和商用价值。本文主要是基于深度学习相关技术,研究短视频分类任务。首先,介绍深度学习常用网络类型,主要包括卷积神经网络、循环神经网络和生成对抗神经网络。同时介绍深度学习常用编程框架和深度学习常用分类模型。然后,基于本论文主要研究的对象是视频数据,所以重点研究每种模态的特征提取方式。在此之前,介绍了传统图像特征提取和视频特征提取中的经典算法,然后基于深度学习相关模型,重点研究视觉特征、音频特征及文本特征的提取算法。之后,设计本文算法整体框架。主要研究聚类网络和注意力机制网络的原理,然后研究多模态特征融合方式,从而构建整体网络框架。最后,基于本文提出的算法,在相关数据集上做了大量的对比实验,详细分析实验数据。同时针对实验结果,提出各种改进的方法,并在公开数据集中进行实验,与其他模型做对比。
其他文献
当代信息化作战中,如何灵巧的利用无线通信进行交流和攻击是一直以来的研究重点。在信息化作战中,如何正确、快速、准确的区分己方和敌方是至关重要的,因而引出了电子对抗的概念。干扰信号可以显著的降低信号的质量甚至信号的正常接收,所以通常要增加干扰抑制手段。但干扰样式却是复杂多变的,而干扰抑制手段通常作用范围只限于少数几种干扰样式中。因此,想要正确的对干扰做出处理,就要先准确的对干扰类型进行识别和判断。Ma
制造业作为我国国民经济发展、工业化发展以及国际竞争力稳步提升的基石,自改革开发以来始终处于良性发展态势。然而随着我国国民经济的急速发展,人们的需求越发广泛且需求量正飞速增长,各种资源被加速消耗,再加上我国经济粗放增长的方式,我国制造业存在着许多严峻的问题,如高投入、高污染、高消耗、低效益引起的资源浪费、资源离散和资源匮乏引起的供需不平衡等,从而阻碍了传统制造业的发展。改革创新已经刻不容缓,不仅要针
近年来,随着纳米科技(Nano-technology)和合成生物学(Synthetic Biology,SB)的快速发展,使基于生物启发式的纳米机以及纳米网络的实现成为可能。由纳米机组成的通信系统,在多
聚丙烯腈基(Polyacrylonitrile,PAN)碳纤维占碳纤维生产总量的90%。PAN碳纤维的第一聚合单体是丙烯腈,丙烯酸甲酯、衣康酸作为共聚单体可有效改善PAN碳纤维生产过程中的催化
为了满足不断增长的无线通信数据传输需求,毫米波以其充沛的频谱资源和更大的通信带宽成为了目前通信技术研究的主要课题。为了补偿毫米波频段的高路径损耗,研究者出通过在基站端和用户端配置大规模天线阵列,以供高波束增益和空间复用增益。为了升通信系统的能量效率,基站端根据信道估计信息设计预编码方案,从而将信号更有指向性的发送给用户,减少能量损失。但是由于大规模天线阵列的部署,毫米波信道估计的复杂度大幅升,基于
随着核能和核技术的飞速发展,用于辐射防护的高性能中子吸收材料的研究已成为核技术领域的重要课题。碳化硼(B_4C)因具有高的中子吸收截面、中子俘获后产生的二次辐射能低、易于屏蔽等优越的性能,而成为重要的中子吸收材料。但碳化硼的烧结致密性差和断裂韧性差,将碳化硼纳米化与使用增韧剂相结合是目前有效的改善方法。氧化石墨烯(GO)具有层状结构,较大的比表面积和丰富的表面官能团可以为反应提供足够的活性位点并降
小型化、薄膜化是当今电子器件的发展趋势,芯片电感集成技术成为国内外研究的重要热点之一。因此,磁芯电感的结构、材料、制作工艺一直得到了广泛的重视,开发新的磁芯薄膜材料是实现芯片上电感元件的关键。铁镍合金,不仅具有良好的互连界面反应特性,而且电镀工艺成熟,具有较高的饱和磁感应强度、电阻率、磁导率和较低的矫顽力等优异的磁性能,是三维集成下备受关注的功能薄膜。随着电子器件使用频率的与日俱增,为了进一步降低
超级电容器(SCs)具有快速充电/放电能力、高输出功率和长循环稳定性,在能量储存领域具有广泛的应用前景。然而SCs固有的低能量密度难以满足各种电子产品不断增长的运行需求,这一问题严重阻碍了其应用。科研工作者们近年来致力于开发具有高能量密度的超级电容器,主要针对电极材料的形貌结构优化,提高比表面积以及选择恰当的电解质等方面进行研究。本论文采用水热法制备纳米氧化铬(Cr_2O_3)前驱体,研究了水热条
近年来,在LaAlO_3(LAO)/SrTiO_3(STO)异质结界面发现了高迁移率的准二维电子气(Q2DEG),这使通过调制绝缘体SrTiO_3表面和界面附近的载流子浓度而产生Q2DEG成为可能。随后,经过Ar+刻蚀处理后的SrTiO_3表面也发现了Q2DEG,SrTiO_3从绝缘态转变为半导态。外延生长对制备仪器、生长条件和成本控制方面提出了巨大的挑战,Ar+刻蚀SrTiO_3作为一种非外延制
随着化石燃料消耗的快速增长和能源需求的持续增长,提高能源效率和开发新的可再生能源至关重要。相变材料(PCMs)作为一种热能存储材料,被认为是减少对化石能源过度依赖的极佳选择。但是,作为最常用的PCMs类型,有机固液PCMs倾向于扩散到表面并在相变过程中产生泄漏等问题。PCMs封装到壳体材料中进行微胶囊化形成相变微胶囊(Microencapsulated phase change materials