针对视频拷贝检索的深度哈希码研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:reg8c4user
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来大量的视频正以惊人的速度急剧膨胀。如何让用户在海量的数据中快速找到目标视频成为目前受到广泛关注的课题之一。例如用户想通过片花检索完整版视频,即难点在于如何快速精准地检索有相同内容却有不同码率、分辨率、帧率、编码方式等的拷贝视频。随着图像处理技术的发展,人们更倾向基于视频内容的检索方式而非人工标注的关键词方式,拷贝视频在用户不能概括语义的情况下更适合基于内容的检索方式。将视频特征映射为哈希码可以大幅度提升检索的速度,因此本文的重点在于如何设计有效精准的哈希码用于视频检索。目前视频哈希检索的研究主要有两种,通过图片哈希检索视频和通过视频哈希检索视频。通过图片匹配检索视频只需考虑图片空间维度的特征,特征提取较简单,然而检索结果不够精准;通过视频检索视频需要考虑视频时空维度的特性,检索结果更加精准,但是特征提取的难度较高。为了提高检索精度,本文采用视频哈希检索视频的方式。因此本文提出一种时空融合的哈希码。空间哈希上,传统的视频检索常采用基于SIFT等局部特征的哈希匹配,近些年随着神经网络的发展,在提取图像特征方面,神经网络比传统的局部特征的性能更好,所以本文采用深度神经网络的方法提取视频哈希;时间哈希上,本文采用基于帧差法的聚合方式,既融入时间信息又降低特征维度。随后本文以空间域为中心的时间窗组合哈希码,以多索引哈希表和二次剪枝的方式快速检索视频。本文的视频哈希码的主要创新点如下:空间域上,本文提出了一种全新的可扩展的深度紧哈希码,创新点在于1)采用了VGG-16神经网络的最后一层池化层而非全联接层作为图像特征;2)基于深度神经网络的费舍尔向量(Fisher Vector)聚合;3)以主成分分析(PCA)特征值的概率和混合高斯模型(GMM)的权重概率作为优先级分数,从聚合费舍尔向量中挑出最有贡献的码字作为每帧图像的哈希码。时间域上,本文提出了新的基于视频显著性的离散余弦变换(DCT)聚合哈希码,创新点在于:在帧差法的基础上进行高斯滤波的离散余弦变换(DCT),并以DCT的前几位能量集中的系数作为哈希码。本方法的优势在于通过对公开数据集TRECVID和CC_WEB_VIDEO的测试,针对检索的精度,本文设计的哈希码PR曲线和MAP优于其他主流哈希方法,针对检索的速度,本文只需5秒的查询短视频,就能检索到视频段,平均检索时间为4ms,误判率为0.3%,比TCSIFT快。
其他文献
GMR-1 3G卫星通信终端测试仪的研究填补了该产业缺少射频一致性测试仪表的空白,对卫星通信产业的发展贡献重大,同时测量项作为终端测试仪的核心模块,是实现终端射频指标测试的关键。由于卫星通信系统信号传输距离长、多普勒效应明显,因此终端信号发送的时间与频率准确度以及功率控制精度是其关键的性能指标。本文对终端测试仪中时间频率误差、开关时间模板以及闭环功率控制三个重要的发射机测量项进行了研究,主要研究内
随着互联网的快速普及,云计算技术已成为信息技术的重要发展趋势之一。相比于购买软硬件设备以及聘请专业人员维护数据所产生的昂贵开销,越来越多的中小型企业青睐于使用云计
目的1.研究生物活性玻璃(Bioactive glass,BAG)奥敏清(?)在不同作用时长下引发的部分脱矿牙本质表面的形貌特征及磷酸根变化,为奥敏清(?)在临床上缓解牙本质敏感的应用提供进
随着人工智能的快速发展,人体动作识别技术备受人们的关注,传统的动作识别技术是基于可穿戴传感器设备来实现,然而可穿戴传感器受到成本和隐私等条件的限制。基于无线信号的动作识别技术吸引了研究者们关注,该方法普及性较强,而且具有成本低、隐蔽性强、环境适应性强等优点,可以与传统的动作识别方法进行功能互补,从而达到更理想的识别效果。通过分析无线信号的信道状态信息(Channel State Informati
随着智能手机的快速发展,其带来的安全问题也越来越严重。特别是由于目前市场上缺乏对安卓APP的有效检测手段,使得虚假的安卓APP越来越容易被用户下载和使用,这些虚假安卓APP
滤波技术指的是将信号中的特定波段频率分离,是现代工业电子、航空航天、图像处理等领域常用的抑制干扰的有效方法,因此得到了国内外专家学者的极度重视。在高斯线性系统中,以卡尔曼滤波器最为著名。而为了拓展滤波技术的应用,学者们研究了针对一类噪声为高斯的非线性系统的滤波算法。但针对非高斯噪声的非线性系统滤波方法的研究相对较为局限,本文就针对该类复杂系统的滤波方法进行研究。本文主要是针对基于特征函数的滤波算法
作为传统石油基聚合物泡沫的理想替代品,聚乳酸(PLA)泡沫因其良好的生物相容性和环境友好性受到了广泛关注。然而,由于其结晶速率慢和熔体黏弹性差,这对于制备高发泡倍率、高
随着无线通信技术的迅速发展,人们对无线网络环境的服务质量要求越来越高。作为现代无线通信关键技术之一的无线网状网(Wireless Mesh Network,WMN)是一种广泛应用的网络结构,由于其具有建设成本低、易于安装和维护、可靠性强及可扩展性好等特性,且WMN还可用于许多特殊的应用场景,使其受到学术界与产业界的广泛关注。因此,研究如何高效的利用WMN中的资源显得很有意义。本文中我们主要研究了W
目的:通过研究益气养阴清热方对2型糖尿病(Type 2 diabetes mllitus,T2DM)小鼠肠道GLP-2及紧密连接蛋白ZO-1、Occludin表达水平的影响,探讨益气养阴清热方抑制慢性炎症反应,
目的:通过观察道地通管汤对输卵管炎性大鼠输卵管组织形态学的改变,输卵管组织中Smad2、Smad7的表达影响及其黏膜超微结构的变化,来探讨其作用机制,为临床治疗输卵管炎性疾病