【摘 要】
:
近年来,得益于人工智能的进步以及深度学习和神经网络的创新,计算机视觉领域近年来取得了长足的飞跃。小至计算机视觉领域,大至人类文明,非常多数据是存储在视频当中,所以对视频进行智能化分析与处理成为了热门选择。在视频智能化分析中,时序行为检测是非常关键的一项任务。它是指给定一段未经过修剪的人类活动长视频,学习模型要把人类行为片段的起止时间检测出来,更是要确定每一段人类行为的归属类别。同时它也是非常具有技
论文部分内容阅读
近年来,得益于人工智能的进步以及深度学习和神经网络的创新,计算机视觉领域近年来取得了长足的飞跃。小至计算机视觉领域,大至人类文明,非常多数据是存储在视频当中,所以对视频进行智能化分析与处理成为了热门选择。在视频智能化分析中,时序行为检测是非常关键的一项任务。它是指给定一段未经过修剪的人类活动长视频,学习模型要把人类行为片段的起止时间检测出来,更是要确定每一段人类行为的归属类别。同时它也是非常具有技巧性的一项关键性工作,我们可以通过肉眼来标注长视频中的人类行为片段类别以及起止时间作全监督模型训练,也可以只标注行为片段类别作弱监督模型训练。前者会占用大量的人力物力,后者只需要攫取些微的算力。因此长视频下的弱监督时序行为检测对于社会资源的优化整合显得特别重要。长视频下的弱监督时序行为检测任务引起了广大业内科研人员的关注。在本人的理解中,该任务存在着三个关键性问题:1)作为人类行为片段的检测任务,骨骼关键点等人本身的属性特征并未得到利用;2)通过计算一段视频中每个视频片段特征余弦距离,发现所用的流行特征具有比较弱的判别力,即从根本上限制了模型;3)视频中的行为片段存在相当强的背景信息干扰,因此剔除不必要的背景信息是非常重要的。于是,本文提出了一个完整的深度学习框架来对应解决以上问题:1)本文设计了行人姿态流时序注意力感应机制。它针对于长视频的每一帧,提取出人的骨骼关键点作为行人姿态,利用行人姿态变化来辅助框定长视频中行为片段的起止时间。2)本文设计了行人动作捕捉分支。它提取出的关键人体行为语义特征与关键姿态特征进行加权特征融合,得到了具有较强判定力的长视频特征表示。3)本文设计了行为背景分离模块。该模块设计了新的损失函数,对长视频的每一种动作类别所包含的动作实例个数进行学习,从而增强了视频中时间相邻动作实例的特征表示,有效剔除行为背景信息。
其他文献
随着国内外电动汽车的高速发展,电动汽车电子系统繁杂,集成度高,涉及高压、低压电器转换,使得电磁环境日益恶劣。线束作为连接纽带,紧密地连接着整车内各个电控系统和车载电子设备,在为信号的交换和能量的传递提供通道的同时,也为电磁干扰提供了载体,是干扰源设备和敏感设备间电磁干扰的重要传播途径。设备在工作过程中产生的电磁干扰信号可以经过线缆完整的电路连接直接进入敏感设备,如电阻性耦合等。或者以线缆间电容性耦
目前,全球经济发展呈现出一体化和国际分工深化的态势,知识等无形资产的重要地位在现代化企业发展的过程愈加凸显,知识推动着技术创新并成为了新的经济增长源,依靠知识产权作为企业发展驱动力的新型发展模式越来越被人们所重视。在这新型发展模式之中,核心专利成为了企业维持技术优势和增强市场竞争力的重要砝码,同时也是企业开展国际化经营并在激烈的国际市场竞争中获取优势地位的主要途径。专利本身具有的竞争力,使得专利主
随着社会对医疗健康越来越重视以及数字成像技术的发展,数字医学成像已经成为医疗专家诊疗患者的重要参考信息,在对患者病情进行定性、定量分析过程中,提取医学图像中的病理特征是至关重要的。由于图像分割技术可以从像素层面观察并处理图像特征,进而能更好地掌握图像的形状、纹理等特征信息,使得医学图像分割成为辅助医生诊疗的重要手段。但是,医学图像中往往存在实例对象繁多,目标对象之间边界模糊、对比度低,以及目标对象
目前,人体行为识别在诸如智能看护、智能交通行人预警、人体辅助医疗等各个领域的重要性不断凸显,它巨大的发展前景也吸引了愈来愈多的研究者投入到该领域。然而,由于各种诸如遮挡,光照等现实因素的影响及人体行为的多样性,想要对人体行为进行精准且快速地识别仍旧非常具有挑战性。目前,相较于直接基于视频流的行为识别方法,基于人体骨骼关键点的人体行为识别方法能屏蔽掉大部分背景因素的干扰和过滤掉视频流中RGB图像中巨
随着旅游市场的快速发展,在旅游景区中常会出现一些游客的异常行为,不仅危害了人生安全,也给社会造成许多负面影响,因此研究旅游景区的异常行为识别系统,具有较为重要的研究意义。旅游场景中的异常行为包括不文明行为和危险行为,其中不文明行为包含攀爬、乱涂乱画、乱扔垃圾等行为,危险行为包括翻越栏杆、落水等行为,本文利用图像处理、深度学习等技术对旅游景区中监控场景的游客行为进行检测与识别,若出现游客异常行为则发
企业创新是促进内部经济持续增长、提高外部竞争优势的重要驱动力,党的十九大报告中明确提出要把我国建设成创新型国家,因此,积极推动企业创新是实现高质量发展的必经之路。人力资本是创新的关键环节,激励员工工作的积极性、激发员工的潜力和创造力是促进创新、实现企业创新绩效的重要方式之一。员工持股计划(ESOP)作为一种内部有效的激励方法,在20世纪中期由美国经济学家Kelso提出后逐渐被企业接受,并在广泛的应
信息源点定位是社交网络领域中的最主要研究方向之一,是研究源点扩散的关键技术手段。对于传播源点定位这类问题,研究其源点以及传播趋势非常重要,但是由于网络节点错综复杂,很难探究其传播源点的数量以及传播方向和广度,这使得现有的传播溯源的方法很难适用于规模庞大且复杂的网络;此外,以往的方法很难提取潜在网络的深度表示,并且不能够自动用足够的参数来平衡不同的信息源。本文针对上述社交网络中的多源定位问题,结合深
水泥行业作为国民经济发展、生产建设不可或缺的基础原材工业,对国民经济的发展有着重要的作用。然而,近年来水泥行业的发展环境日趋恶劣,行业下行压力逐渐增大,对国民经济产生了不利的影响。企业发展离不开资金的支持,但行业不景气使得水泥行业的融资状况并不乐观,融资状况恶劣又使得企业发展更加困难,形成恶性循环。2015年底,中央提出供给侧结构性改革,推出“三去一降一补”政策,为行业发展指明了方向。在供给侧改革
飞秒激光烧蚀镀金光栅(ACG)表现为热熔融、热应力等损伤,由于烧蚀机制涉及到光场调制、热效应、场效应、薄膜损伤等,至今仍旧是该领域的研究重点。本文基于优化的双温模型,研究了飞秒激光辐照镀金光栅的动态过程,分析了镀金光栅的损伤机理,对进一步提高其损伤阈值(LIDT)并提升短脉冲高功率激光系统的性能具有一定的理论参考价值。具体的内容和结论如下:(1)定义与光场调制相关的吸收率,采用动态热物性参数和力学