【摘 要】
:
随着互联网的发展和移动通信技术的进步,短视频成为新的信息传播载体。短视频的用户量和数据量十分庞大,其发布需要进行内容审核,当前大部分审核需人工完成。将视频内容自动标注技术应用于短视频内容审核,将极大提高审核效率。本文主要研究基于迁移学习的短视频语义标注生成方法,包括关键帧提取、重点区域检测和图像语义描述等步骤。研究结果可广泛用于视频内容审核和媒体资源管理系统中,具体研究内容主要包括以下几方面:(1
论文部分内容阅读
随着互联网的发展和移动通信技术的进步,短视频成为新的信息传播载体。短视频的用户量和数据量十分庞大,其发布需要进行内容审核,当前大部分审核需人工完成。将视频内容自动标注技术应用于短视频内容审核,将极大提高审核效率。本文主要研究基于迁移学习的短视频语义标注生成方法,包括关键帧提取、重点区域检测和图像语义描述等步骤。研究结果可广泛用于视频内容审核和媒体资源管理系统中,具体研究内容主要包括以下几方面:(1)融合的关键帧提取方法研究。关键帧提取是实现短视频内容分析的第一步。本文使用巴氏距离算法在I帧中计算HSV颜色直方图相似度筛选关键帧,同时计算每帧的RGB颜色直方图筛选突变帧,融合两个方法的结果提取视频关键帧。实验结果表明该关键帧提取方法能提取更多有效关键帧。(2)基于迁移学习的区域检测方法研究。此项研究在提取关键帧的基础上,选取其重点区域,以进行后续的语义描述。目标区域不仅包含常规任务中的物体区域,也包括背景区域。本文在SSD算法的基础上,将主干网络替换为预训练的Res Net-101网络,并新增六层残差块生成特征金字塔,在训练过程中对网络微调,以解决原算法检测精度不高的问题。实验结果表明,改进模型通过Visual Genome数据集训练后,能检测关键帧中的物体和背景区域,检测指标总体平均精度(m AP)比原模型高1.2。(3)基于注意力机制的语义描述方法研究。该方法对关键帧中的区域进行语义描述,并生成视频语义标签。本文将图像描述模型的编码网络替换为预训练的Res Net-101网络,并在解码网络前端增加Attention Model,在训练过程中对网络微调,使用NLTK和pke库完成语义描述的处理。实验结果表明,改进模型的BLEU-4指标为0.30,比原模型高0.05,语义描述处理结果包括视频关键短语和词云等,能概括视频的关键信息。(4)短视频内容分析系统的实现。本文设计并搭建基于上述研究的视频分析系统,该系统能够提取视频的关键帧和重点区域并进行语义描述,生成视频语义标签。实测表明系统满足短视频内容分析的实际需求,具有一定的工程应用价值。
其他文献
在大规模多输入多输出(MIMO,Multiple Input Multiple Output)系统中,基站(BS,Base Station)进行波束成形和用户选择依赖于精确的下行信道状态信息(CSI,Channel State Information)。在时分双工(TDD,Time Division Duplex)模式下,下行CSI可利用上、下行信道间的互易性从上行CSI估计得到;但在频分双工(F
根据国家要求,到2030年,中国国内排放的二氧化碳含量将比2005年时再下降65%以上,各行业的节能减排方案已大力实施,近年来国内机场已加大推广“油改电”为地面飞机提供电能,“油改电”的方案在发达国家已走在前列。本文通过自主研发航空中频电源替代传统的地面柴油发电车为地面飞机提供400Hz储能交流电源。随着电力电子技术及储能技术的发展,航空中频地面电源的研究已朝着大功率、集成化、储能化迈进。本文针对
近年来随着社会经济的进步以及人们对于高质量生活的追求,我国的车辆保有率大幅增加,这给道路安全管理带来了新的挑战。如何加强交通安全管理、从驾驶人的行为机理出发,预防事故的发生,成为了近年来交通问题研究的重点。本文以自然驾驶数据为基础,采用规则定义的方法,识别驾驶人在驾车过程中的不良驾驶行为,并以识别结果为基础,采用多模型集成的机器学习方法,实现驾驶风格分类以及驾驶行为安全的个性化评价,以期为解决道路
目前,已有无线车载监测系统替代了传统CAN(Controller Area Network,CAN)总线的数据传输方式,系统以液压平板车体轴线的直接承载压力为分析对象,通过金属应变片或静力应变仪进行受力测量。而监测系统忽略了车体主纵横梁所受的静定力扰动,理论计算值无法准确反映液压平板挂车的轴线承载状态。同时金属应变片检测存在灵敏系数较低、不易安装的缺陷,感知信号易受噪声扰动,承载压力检测值的平均相
罐装甁防伪标致码与生产日期码作为食品、药品等日常生活用品质量安全的重要组成部分,与人民群众的生产生活安全息息相关。因此,防伪标致与生产日期喷码质量与正确性显得尤为重要。但目前已有的喷码缺陷检测方法普遍存在下列问题:一是当字符存在间距较小有轻微粘连问题,容易导致无法分割或错误分割。二是喷码缺陷识别准确率不高,漏检较多,对喷码区域倾斜与歪曲的情况较难识别。三是使用深度学习方法进行缺陷检测,由于网络较大
随着我国工业与交通业的快速稳定发展,轻型车排放的污染物对我国大气环境质量造成的影响越来越大。而行驶工况是评价车辆油耗与尾气排放的重要指标,所以构建有效的行驶工况能够促进汽车节能减排技术的发展。本文数据采集时长为两个月,采集地为福州,以三辆轻型车作为试验车辆,构建福州市轻型车城市道路的行驶工况,本文的主要内容如下:选取了插值补齐与设定阈值上下限的预处理方法,对不良数据进行筛选去除。然后制定短片段划分
电液位置伺服控制系统因其功率密度比大、高精度、高频响等诸多优点广泛应用于导弹系统、数控机床、航空航天、军工武器等领域。由于属于典型的非线性系统,存在参数摄动、扰动大、不易获得精确数学模型,从而影响电液位置伺服系统的动态响应速度、控制精度和抗干扰性能。基于此,本文研究了在参数摄动、随机扰动情况下的阀控非对称缸电液位置伺服系统控制策略及其实验验证。首先针对电液位置伺服系统具有强非线性、参数摄动等因素以
公路大件运输承运货物往往是国家重点建设项目(如桥梁、铁路、核电站等)的关键设备,生产周期长、价格昂贵,须保证静态装载和动态运输的安全可靠性。为了实现静态装载和动态运输货物重心可视化,根据《超限运输车辆行驶公路管理规定》(2016年第62号令),满足大件货物交通运输要求,提出一种基于Android的公路大件液压平板装载及运输货物重心可视化监测方法。对货物装载和运输相关参数数据进行接收、处理及显示,对
在前人研究斜循环矩阵、H-循环矩阵的基础上,探讨以Pell与Pell-Lucas数列之积为元素的斜循环矩阵、左斜循环矩阵、H-循环矩阵的相关性质.首先通过构造变换矩阵的方法研究了n阶斜循环矩阵An的行列式,利用Euclidean范数公式、行最大范数公式、列最大范数公式,求得An的三种范数,再利用公式求得An的扩展式的上下界,同时又由Euclidean范数与谱范数之间的关系,获得An的谱范数的上下界
氮化硅陶瓷材料是结构陶瓷材料中的超硬材料,具有强度,硬度高、蠕变小、抗氧化性好、耐磨损、耐腐蚀等优异性能,是一种理想的高温结构材料和高速切削工具材料。目前学者对于其制备工艺的研究主要集中在热压,气压等烧结方式,对于常压烧结研究较少。常压烧结适合批量化大规模工业生产,但同时带来了烧结工艺难控制、烧结试样变形严重、试样致密度差,力学性能差等问题。本文就氮化硅陶瓷基复合材料在常压烧结条件下的工艺研究以及