基于深度学习的视频时空特征提取与检索算法研究

来源 :佛山科学技术学院 | 被引量 : 0次 | 上传用户:candycandy726
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的快速发展,为视频的制作和传播,创造了有利条件。对于海量视频数据,传统基于文本方式的视频检索方法已不能满足用户的需求,为了快速、高效的对视频进行分析和管理,基于内容的视频检索技术成为目前研究的热点。目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,本文提出了基于深度特征的关键帧提取算法、基于三维卷积神经网络的视频时空特征提取框架,设计了融合视频时空特征和深度特征的视频相似度匹配规则,开发并实现了一个基于深度学习的视频检索系统原型,在检索速度和精度等方面均取得了较好的效果。本文主要研究内容如下:(1)提出了一种基于深度特征的关键帧提取算法。该方法使用卷积神经网络获取视频帧的深度特征,通过比较深度特征之间的差异作为关键帧提取的依据。数据实验表明,该算法简单高效且鲁棒性强,能够有效避免关键帧的漏检和误检。(2)构建了基于三维卷积神经网络的时空特征提取框架。采用三维卷积神经网络提取关键帧相邻的16帧图像的时空特征,该时空特征能够融合时序上视频帧的运动特性与帧内容特征,充分反映帧在时序上的变化规律,对运动镜头提取的时空特征更加具有代表性,可进一步提升视频检索准确率。(3)设立了一种融合视频时空特征和深度特征的视频相似度匹配规则。在视频的相似度匹配过程中,通过融合视频关键帧的静态特征(深度特征)和动态特征(时空特征),并结合滑动窗口实现视频特征序列的非对称匹配,从而完成基于关键帧和基于短视频的视频内容检索。结合本文提出的基于深度特征的关键帧提取、基于三维卷积神经网络的时空特征提取框架和融合视频时空特征和深度特征的视频相似度匹配规则三部分算法,开发并实现了一套高精度基于内容特征的视频检索系统原型。通过在标准动作视频数据集UCF-101上测试表明,当视频检索系统的查全率达到90%时,其平均查准率高于84%,超过了SIFT(Scale-invariant feature transform,SIFT)特征算法的62%的准确率。并且通过GPU等硬件环境加速,系统的平均检索时间不超过3秒,其检索精度和速度均优于传统的视频检索方法,为深度学习应用于视频检索研究做了有益探索。
其他文献
喷釉机器人工作站作为先进陶瓷加工装备近年来逐渐得到市场的认可,具有较大的市场需求量。但喷釉机器人工作站结构复杂,装配要依照工艺标准顺序进行安装,并严格按照相关技术要求执行。此过程易出现因装配人员经验不足造成的设备质量瑕疵、工期延误和不必要的成本支出。因此如何开展高效且经济的装配技术培训,成为企业亟需解决的问题。引入新的技术培训手段,辅助工作站装配的技术培训,成为企业的迫切需求。本文参照国内外相关解
自动导引车(Automated Guided Vehicle,简称AGV),是指装备有电磁或光学等自动导引装置,可沿预定路线导引行驶,拥有安全保护装置的运输车。目前国内的AGV主要集中在承载能力不超过1000kg的轻型搬运上,并对行驶路况有相应的要求,无法在颠簸及有坡度的恶劣路况下可靠行驶。针对铝型材行业转型升级的迫切需求,以及实际生产过程需要在相应工序及不同车间频繁搬运的加工状况,本文以实现铝型
抓取是一种典型的机器人末端操作形式,在分拣装配、农业采摘、灾难救援、微纳操作等领域具有广泛应用,如何对多规格、不确定的操作对象实现稳定、安全的抓取操作是机器人技术中的关键难题之一。夹持器主要用于目标物体的夹持、搬运、放置,是机器人抓取操作执行机构的主要实现形式。从机构学的角度,驱动单元数少于自由度数量的欠驱动机构具有良好的形状自适应性;而柔顺机构具有免装配、无摩擦磨损、高精度等优点,已成为精密工程
副溶血性弧菌(Vibrio parahaemolyticus,Vp)是一种革兰氏阴性病原菌,该菌在水产养殖中广泛存在,近年来在我国南方地区的水产养殖动物中检出率也较高。多种水产动物如鱼类、虾类、贝类等均可被其感染,是水产动物的主要致病菌之一。此外,它也可引起人类产生腹痛、呕吐等临床症状,严重者会脱水甚至死亡,给水产养殖企业以及人类健康都造成了严重威胁。为了探究我国南方水产养殖中副溶血性弧菌的流行病
移动机器人技术是机器人研究的重点之一,而路径规划问题又是移动机器人技术研究中的关键课题。研究路径规划问题,能更好的提高路径规划的效率,完成任务的同时也能降低生产成本。本文将移动机器人路径规划技术作为研究内容,选取平面自由移动机器人为研究对象,采用人工势场算法对机器人路径规划进行研究,研究的主要内容有:1.对传统人工势场算法的原理进行研究,通过仿真实验对人工势场算法进行验证,分析了算法中存在的缺陷问
视觉同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术是移动机器人进行自主定位和构建空间环境地图的核心技术,是机器人实现智能导航的关键。回环检测作为视觉SLAM的关键环节,协助构建环境地图并减小前端估计的误差。然而,现有回环检测方法的性能受到光照变化和场景切换的制约,具备高性能的回环检测方法是视觉SLAM研究的重难点。因此,本文针对光照变
仿生机器在国内外的科学技术研究繁多,但多数功能、工作环境单一,针对这一现象研究设计了一款可行走于硬实地面、柔软地带和水面行动的仿生智能机器,该仿生智能机器结构简单且应用更为范围。论文首先介绍了根据自然界六足生物的生物特性,研究设计出三态六足仿生机器系统的设计方案,主要包括三态足创新设计模块、六足契贝谢夫运动机构模块、链条传动模块及转向机构模块的机构组成和工作原理,并建立仿生机器各部分的三维模型。其
同时定位与构建地图(Simultaneous Localization and Mapping,SLAM)是实现移动机器人自主导航的关键技术,也被广泛应用于自动驾驶汽车和无人车等领域。作为视觉SLAM的重要组成部分,视觉地点识别(Visual Place Recognition,VPR)可以实现机器人定位,同时视觉地点识别对环境条件变化的鲁棒性影响着机器人构建环境地图的准确性。因此,如何提高视觉地
脊椎侧弯、脊柱变形和椎骨滑脱等是目前发病率很高的疾病,如果能在早期及时发现脊柱疾病的症状,会对治疗起到至关重要的作用。医生对椎骨进行疾病诊断的第一步就是影像学检查,然后通过医学图像对椎骨进行定位和识别工作。疾病的筛选、病情的诊断以及制定治疗方案的.常用的手段之一便是医学图像检查。日常作业产生医学图像由于图像清晰度不高、对比不明显等原因.给通过医学图像进行精准治疗带来了一定的困难,因此研究一种椎骨自
近年来,随着卫浴陶瓷行业对缺陷检测系统智能化程度要求的不断提高,对不规则表面上的微缺陷检测需求越来越大。传统的用于规则球面或具有漫反射性质的平面的检测方法难以满足使用要求,而基于深度学习的缺陷检测技术在复杂型面上仍然具有查准率高、泛化性强的特点,是当前高效获取表面缺陷的有效方法。本文以喷釉烧制后的卫浴陶瓷作为研究对象,采用深度学习与计算机视觉相结合的方法对表面微缺陷的检测进行研究。烧制后的卫浴陶瓷