基于多特征学习的视频语义标注

来源 :复旦大学 | 被引量 : 0次 | 上传用户:leoni002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自从计算机诞生以来我们就不断试图让计算机理解人类所观察到的事物。从数值计算,符号计算开始,人们不断推进计算机的”理解能力”。文字,图像,视频等多媒体内容的理解牵涉到高层的语义,计算机能否对这些内容给出对应的语义标签是让计算机对这些对象有认知的第一步。通常我们对视频进行语义标注都需要将标签限定在一个范围中,这是因为通用的对所有视频的标注系统难以避免语义鸿沟。在给定的标签范围内,我们对视频数据进行分类。这使得我们的目标变得可行。视频的特点是它具有多种特征,包括音频,静态图像,文字以及动作特征。通过实验我们发现,动作特征对于区分以动作为语义的视频是有效的。以往的视频标注系统对于如何使用如此多的特征种类对视频进行分类性能的提高并没有很好的考虑。我们认为多种特征的融合有利于发挥各种特征的区分能力,对不同的视频类别,不同的特征的描述能力也是有强弱之分的。我们使用核化的logistic回归作为框架,对从视频数据提取的多种特征用多距离学习的方法,学习出每一个视频类别的特征权重系数。为了达到特征选取的目的,我们引入权重系数的一阶范数惩罚。这使得无关的视频特征的权重降低为0。为了防止模型过拟合,我们还对logistic回归的参数进行了二阶范数的惩罚。由于目标函数相对于这两组参数不是一个凸函数,因此我们采用了轮换迭代的方法分别对目标函数进行优化求解。在Columbia Consumer Video(CCV)数据集上的实验表明,我们的方法能够显著提高视频分类的性能,并且能够处理带有动作语义特征的视频数据。我们继而分析了不同语义标签的权重变化,说明了一阶范数对于惩罚无关特征的作用。
其他文献
近日,国家发布了《关于构建更加完善的要素市场化配置体制机制的意见》(以下简称《意见》),提出要推进土地要素市场化配置、引导劳动力要素合理畅通有序流动、推进资本要素市
期刊
中美贸易战以来,美国政府通过加强对中国的出口管制,设置了一系列技术壁垒.在此环境下,本文基于技术壁垒分析,采用专利对比分析法、 词频逆文档法和内容分析法,找出中国航空
随着图像检索技术的发展,检索结果重排和多特征融合技术受到广泛关注。大多数之前的研究主要考虑图像之间的相似度以及利用图方法提高检索效果。然而,真实世界的流形空间十分复
垃圾邮件的过滤是互联网时代一个重要的研究领域。邮件分类是垃圾邮件过滤的先决条件,其往往受用户主观性的影响较大,因此基于邮件内容的邮件分类技术越来越受到研究者的重视,其
[摘 要] 为适应新工科教育改革背景下对高等工程教育提出的新要求,工程训练作为培养学生工程实践能力的重要课程,必须实施改革和创新教学模式,促进学生工程意识和创新思维的培养。本文对工程训练教学过程中存在的“水”课、“被动”课和“封闭”课等问题进行分析,提出基于新工科的工程训练课程教学模式。通过教学理念更新、教学内容调整、教学方法改革,提升工程训练课程教学质量。通过学生实践能力的提高、知识结构的完善、
随着网络信息技术的发展,应用软件转向了框架式发展,使得应用程序的开发进入了一个新时代,这要求应用程序的开发不仅要减轻开发人员的工作负担,还有让用户获得良好的体验效果。基