基于GRU网络的视频摘要生成技术研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:Chinaxfhl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生成技术旨在利用合适的算法分析视频结构,从原始的视频数据中筛选出具有代表性的、用户可读的精简摘要。目前基于Seq2Seq模型的视频摘要生成技术能有效地学习人类理解视频的高级语义,对视频数据中的帧间依存关系进行建模,并生成具有较强概括能力的视频摘要。然而,现有视频摘要生成技术存在计算量大、由冗余帧带来的性能损耗大和模型效果不稳定等问题。本文围绕降低视频摘要结果的冗余度和提高模型训练效率展开研究,主要研究工作包括:1.提出一种融合GRU和非极大值抑制的视频摘要生成模型,包括特征提取、重要性得分生成和摘要生成三个模块。在重要性得分生成模块中,设计了融入GRU和注意力机制的Seq2Seq结构,该结构不仅增强了帧间时域特征关系对摘要筛选结果的影响,同时减少了模型的计算量,提高模型在反向传播时的收敛速度;在摘要生成模块中,提出基于非极大值抑制的关键序列生成算法,过滤相似度较高的视频帧,降低冗余帧对模型性能的影响。在TVSum、Sum Me和VSUMM三种数据集上的对比实验表明,所提模型在F-score和KFRR两个评估指标上均有不同程度的提升。实验结果证明该模型所生成的视频摘要具有更强的内容概括能力,并且在各种数据状况下具有较高的稳定性。2.为进一步提高模型在含有大量冗余信息的视频数据上的处理效果,在特征提取阶段,本文提出了针对视频特征的软阈值化改进方案以及在摘要生成阶段相应的优化方法,即:在特征提取阶段,将帧图像中的特征信息区分为重要特征和“噪声”特征,对特征信息进行筛选和阈值过滤,使模型在特征提取时重点关注信息量较高的特征。相比于改进前模型,优化后的模型在包含TVSum、Sum Me和VSUMM的增强数据集中的F-score值提高了5%;同时在以原始视频为主的Sum Me数据集中,优化后的模型的F-score值提高了8%。实验结果表明:引入软阈值化特征后的模型对冗余信息较多的视频数据的处理效果有明显的提升。
其他文献
在经济高速增长的时代,人口逐年递增,建筑行业也得到了快速发展,但这些变化致使土地资源变得越发紧张。在进行楼房建设时,人们只得通过增加楼层高度来应对这一窘境,于是,随之而来的高空作业的需求也越来越多。高空作业平台应运而生,它可以将人或货物送至高空作业,一般由电控系统、液压系统、机械结构三大部分组合而成,而且电控系统在其中扮演着最核心的角色。近年来人们对高空作业平台的功能拓展性和日常使用性能提出更多期
双手爪爬杆机器人结构上由多自由度串联机构本体和首末两端附着作业装置组成,具备优越的过渡性能和灵活的运动能力,可用于替代人类展开高空作业任务。实现爬杆机器人自主作业能力的基础是高效率的路径规划算法和方案,目前国内外尚缺乏可靠高效的求解方案。本文以六自由度双手爪爬杆机器人为研究对象,对其在空间杆件环境中的无碰路径规划问题展开讨论。主要内容包括:通过简化工作空间进行几何相交测试,实现爬杆机器人杆间快速可
为解决六足机器人全方位行进中姿态的实时独立规划问题,分析了机器人行进规划与姿态规划之间的耦合原因,提出了一种基于机身等效连杆思想的模型,并以该模型为核心实现了全向三角步态和姿态控制。样机实验结果表明,基于本模型的控制算法可在STM32F407微控制器中实时解算,闭环姿态控制的调节时间比传统双PI控制方法缩短了约80%。
学位
北京冬奥会的申报成功,一定程度上为北京的冰雪运动的发展创造了便利的条件。通过相关的调查,了解到现阶段我国有越来越多的人在关注这一项运动的发展状况,虽然,现阶段,北京的冰雪旅游有着很好的发展基础,但是由于目前群众性的冰雪运动的普及不够、缺乏专业的人才、缺乏场地和设施以及其相关的管理制度不够完善等,导致缺少群众性冰雪运动的发展规划。根据上面所提供的相关问题,需要相关的单位要提出相应的解决政策,加大对群
近年来,云南省冰雪产业的发展迅速,在推广与全民参与方面取得了不小的进步,首先在政策上,云南省制定《关于以2022年北京冬奥会为契机大力发展冰雪运动若干措施》、《关于广泛开展群众冬季运动的通知》等文件,为支持冰雪运动的推广与发展奠定基础。云南省还积极主动参赛办赛,在国内首次参加冬运会,并取得优异成绩,突破了云南金牌"零"的现状。在体彩公益金支持下,昆明呈贡训练基地建设了短道速滑馆,成功组建了云南省第
推进太阳能资源的开发和利用,是国家新能源规划的重要部分之一,也是优化调整电源结构、实现绿色发展的需要。本文通过对广东省惠州市博罗县电网的负荷情况进行深入的调研和分析,在此基础上对100MW光伏发电项目提出了可靠可行的接入系统方案,方案包含电气一次设计、电气二次设计等内容,并根据推荐的接入系统方案,再进行相应的系统通信、调度自动化及系统继电保护的方案设计。首先,本文详细介绍了光伏发电和并网系统设计的
太阳能作为可再生能源中最为丰富的能源,开发利用太阳能资源是协调经济与环境可持续发展的重大举措。太阳能资源可通过太阳能集热器收集利用,并可传热至工作介质供人们使用。本文在前期设计的基础上对聚光型同心套管太阳能空气集热器进行改进,将CPC聚光器、真空管、同心套管空气集热装置进行有机结合。该装置通过CPC聚光器将太阳光线汇聚收集辐射能加热流动介质空气,同时真空管与同心套管空气集热装置构成串联式流道,增加
近几十年来,全球气候变暖与环境污染一直是人类面临的严重问题。据世界资源研究所数据显示,与100年前相比,1981~1990年全球气温平均上升0.48℃,面对全球气候变暖与环境污染带来的威胁,“低碳”开始成为人们越来越关注的问题。在全面建设小康社会这一大背景下,我国经济的发展和人民生活水平得到了提高,公路作为国民经济和社会发展的基础设施,其发展直接拉动了国民经济和社会科学持续发展,据中国国家统计局统
随着人们生活水平的提高,农民种植果蔬农作物已经不仅仅作为自己享用,更多的是考虑用于出售,以获取一定的经济收入,同时,随着农作物种植面积的扩大,产生的废弃农作物秸秆也越来越多,直接燃烧不仅浪费,还污染大气环境。在农村地区,寻找一种绿色环保的制冷系统来解决农村地区日益增长的果蔬农作物保鲜问题,同时解决农村农作物废弃秸秆,已成为现阶段建设美丽乡村的一个重要课题。本文在吸收式制冷技术研究的基础上,设计出一