基于内容的视频检索与视频摘要关键技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:lwllwl200315
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术、多媒体技术、存储技术、网络技术的发展,数字视频得到了长足的发展和广泛的应用。从录像机到手机,无论是专业应用还是家庭消费产品,数字视频已经变得非常普遍。视频是一种具有时间及空间三维结构的数据格式,具有数据量大、蕴含信息丰富等特点,其本身常常是无组织的数据流,难以搜索与浏览,这对获取视频信息构成了严峻的挑战。为了有效地获取视频信息,基于内容的多媒体检索技术应运而生,其中最引起学者兴趣的是基于内容的视频检索。基于内容的视频检索技术对视频数据中蕴含的视觉和语义内容进行计算机处理、分析与理解,并根据内容进行检索,其本质是对视频数据内容与结构进行分析,提取视频语义信息,保证视频内容能被快速检索。   由于基于内容的视频检索技术蕴含着巨大的市场前景,自上世纪九十年代以来就成为一个活跃的研究领域。经过许多年的努力,已经开发了很多搜索视频的方法,这些方法基本上都是采用计算机视觉和模式识别中的核心算法与理论。同时,为了解决多媒体内容描述的标准化问题,国际标准化组织ISO/IEC下的MPEGE委员会专门指定了国际标准MPEG-7。   基于内容的视频检索包含很多方面,比如视频内容分析,结构化、索引、摘要、检索等,这些方面既独立又相关,各自也都有很多研究成果,但是从开发系统的实际角度讲,这些方面又必须综合考虑,只有这样才能开发出高效且有效的系统。   本论文的研究主要集中在以下几个方面:   (1)镜头边缘检测技术。镜头是视频中最基本的结构单元。镜头边缘检测是视频分析中研究的比较早也是研究得比较成熟的一个方面。在这方面己经取得了很多可用的技术,尤其是在突变镜头边缘检测方面。对镜头边缘的检测主要是采用视频中的一些底层特征,比如颜色、纹理、边缘、形状,等等。在镜头之上的更高级的语义结构是场景,这是一个对用户更有意义的结构信息。场景比镜头表示的信息更完整,一个场景往往对应着一个事件。很多技术是通过对镜头的聚类完成场景检测的,这往往要用到一些更高级的技术,比如多模特征的集成。本文在对镜头边缘检测做了综合分析之后,提出了一种新的镜头边缘检测算法。该算法首先将视频序列中的每帧图像分割为许多块;基于这些块,计算连续两帧之间的匹配距离,最后根据自适应的阈值确定视频序列中的镜头边界。并在此基础上,提出了一种新的基于镜头的关键帧提取方法。   (2)体育视频兴奋内容建模与视频摘要提取。已有的体育视频精彩内容的提取往往都是针对特定类型的体育视频开发的,比如针对棒球的或者足球的。这样的系统在使用范围上有很大的局限性,因为用户不可能为观看每一种类型的体育视频要单独安装一个系统。因此,通用的精彩内容提取方法是一个值得研究的课题。从我们所能够检索到的文献来看,有很多种方法来研究通用的精彩内容提取,比如基于注意力模型的方法,基于运动模型的方法。本论文从用户兴奋的角度通过提取音频和视频中的多个特征来对体育视频中的兴奋内容进行建模,从而获得体育视频的兴奋时间曲线,并基于此提出一种通用的视频摘要(关键帧和视频概略)提取框架,同时对所提取的摘要进行有效排序。   (3)交互式体育视频事件检索方法。视频类型的多样性和用户需求的个性化往往使得系统检索的结果无法满足用户的偏好。不同的用户通过一个系统检索同一个视频得到的结果是一样的,但是不同用户的需求迥异,因而这样的系统无法满足不同用户的具体需求。所以,一个系统在检索的时侯,必须考虑到用户的这种个性化需求。相关反馈技术是解决这个问题的一个有效办法。利用相关反馈技术可以有效地提高检索的效率,这点已经在基于内容的图像检索中得到证明。本文利用交互式遗传算法从用户那里得到反馈信息,通过与系统的不断交互实现个性化的检索。   (4)智能视频监控中的运动对象提取。基于内容的视频检索与视频摘要的研究大多数都是针对体育视频展开的,因为体育视频有更多的用户观赏,市场前景比较广阔。自从911以来,安全引起了各国的广泛重视,这种对安全的需求激发了无数学者的兴趣,人们开始研究智能的视频监控,得到的监控视频有着与一般视频不同的性质。智能视频监控里面的研究课题很多,并且都很有挑战性,比如对象的跟踪与检测、异常事件检测,等等。本文针对监控中的一个基本问题,即运动对象提取中的阴影抑制与消除,利用背景相减法,结合形态学图像处理技术,提出了一种有利于消除阴影的运动对象检测方法。
其他文献
本文详细论述了在指纹识别系统中数据库模板形成时关于指纹对齐算法的研究和资源受限条件下指纹图像处理及识别方面的工作,包括理论基础、实现步骤、测试结果以及对算法的分
在嵌入式系统的开发过程中,仿真器是一个必不可少的开发工具。特别是对于初级嵌入式系统开发工程师,借助一个功能强大的仿真器进行开发工作,可以达到事半功倍的效果。一个嵌
WiMAX(Worldwide Interoperability for Microwave Access,全球微波接入互操作性)技术是以IEEE 802.16系列标准为基础的宽带无线接入技术,近年来发展迅速。在向宽带化、移动化
随着数字电视的普及,高清的数字电视节目进入了千家万户,然而,这个技术在给用户带来高清视频的同时,也给节目版权带来了新的问题:用户可以非常简单地非法录制和分发解扰后的数字电
运动目标跟踪在自治车辆导航,机器人控制,基于运动的识别,视频压缩,基于视觉的控制,人机接口,医学成像,增强现实和视频场景监控中都具有重要的应用前景。随着应用的推广,各种
本文的研究目的在于设计和实现网络爬虫,该模块是Web应用程序漏洞评估工具的重要组成部分,设计和开发Web应用程序漏洞评估工具目的在于扫描网站、识别安全漏洞并且给出扫描评
随着无线Mesh网络(Wireless Mesh Network:WMN)应用的推广,针对WMN的QoS技术也逐渐成为研究热点。媒体接入控制和分组调度算法是为网络提供QoS保证的重要措施。做为宽带通信