【摘 要】
:
近年来,随着智能拍摄设备的成本低廉化以及视频社交平台的快速发展,第一视角记录下的视频不断地充斥着人们的生活。第一视角视觉领域的研究具有众多潜在的应用前景,其中作为视频理解的基石,第一视角动作识别任务受到了学术界和社区越来越多的关注。然而,第一视角视频的动作识别领域的探索仍处于初期阶段,目前对于第一视角视频的理论研究较少,其与第三视角视频的内容存在显著不同且不具备同质性。本文针对该领域所存在的问题,
论文部分内容阅读
近年来,随着智能拍摄设备的成本低廉化以及视频社交平台的快速发展,第一视角记录下的视频不断地充斥着人们的生活。第一视角视觉领域的研究具有众多潜在的应用前景,其中作为视频理解的基石,第一视角动作识别任务受到了学术界和社区越来越多的关注。然而,第一视角视频的动作识别领域的探索仍处于初期阶段,目前对于第一视角视频的理论研究较少,其与第三视角视频的内容存在显著不同且不具备同质性。本文针对该领域所存在的问题,做出如下工作:首先,本文针对第一视角交互场景设计了交叉特征融合架构。该架构利用全局-局部分支对不同参与者的动作进行建模,各分支采用多模态多流C3D网络提取互补的时空表示,通过交叉融合来消除冗余并建立关联,可以极大程度上改善第一视角交互动作识别精度。其次,本文针对第一视角日常活动场景提出了双流注意力3D特征融合网络。该网络中的3D注意力模块作用于特征图,可以抑制时空表示中的干扰部分;而模态注意力模块作用于特征向量,可以探索各模态信息的重要性。通过消融实验证实了所设计模块的有效性,表明了所提出的算法可以获取到更具辨识性的特征表示。最后,本文设计并实现了第一视角动作识别系统。该系统对我们所实现的多特征融合算法进行了封装,允许用户交互配置模型信息、启动特征融合,并将中间结果反馈到界面以直观地反映算法的执行效率和识别性能。
其他文献
随着计算机视觉的快速发展,目标跟踪技术在民用和军事等领域得到了广泛地应用,成为当前研究的热门方向。在跟踪任务中,存在着众多的挑战,比如目标遮挡、暂离视场、光照变化、目标形变等,往往造成跟踪任务失败。因此,提升跟踪器应对复杂状况的性能,优化跟踪策略,提高单目标乃至多目标跟踪准确性,具有很高的研究价值。本文针对上述问题开展研究,主要的研究工作分为两个部分:(1)提出基于区域相似性匹配的目标跟踪算法Si
快速增长的互联网消费群体使网络数据呈现爆炸式增长,网络的规模在不断地扩大,网络的拓扑结构也变得日益复杂。同时,消费者对于网络响应的实时性要求在不断提高,这要求系统进行路由选择时能够提供一种快速计算节点之间最短路径算法;计算机网络中同一时间会存在大量的网络请求业务,为了防止网络链路出现负载过重甚至网络拥塞的情况,要求系统能够提供一个优良的全网优化算法对业务进行合理的分配,提高网络资源的整体利用率。本
随着信息技术、网络技术、物联网技术与人工智能技术的发展,控制系统中的被控对象已经从之前的单一对象发展为包含多个对象的多智能体系统。在关于多智能体系统协同控制的研究中一致性研究是其中的一个重要领域,所谓多智能体的一致性意味着各个子系统之间通过信息交流而达到预期状态的一致。在实际控制中一个整体系统的各个子系统之间往往同时存在着竞争和合作的关系,这就要求最后达到的一致性控制效果是双边一致的。与此同时在工
实体集自动扩展技术是通过种子实体集合,结合语料库中的文本信息,扩展出新的同类型实体的技术。在构建知识库、在线问答等领域中有着广阔的应用前景。现有实体集合扩展系统的输入是一个特定类型的种子实体集合和特定领域下的语料库,输出则为所得到的同类的新实体集合。传统的实体集合扩展技术主要有基于概率模型、分布相似性、词向量等的方法。通过提取种子实体在语料中的相应特征,借助该特征匹配其他新实体。然而,传统方法存在
随着车载和机载成像平台应用日益广泛,对成像装置的智能化需求越来越高。基于图像分割技术的场景解析作为成像装置智能化的一个重要研究方向,也受到了更多的重视。本文针对车载和机载成像平台的图像分割技术各自的特点开展算法研究,主要研究工作如下:(1)车载成像平台面对的场景复杂,轻量级分割算法对图像分割精度不高,本文针对此问题构建了邻域增强分割模型。该模型在轻量级网络上加入了Skip解码器模块和邻域增强模块,
由于浅表静脉位于皮下5~10mm以内,无法用肉眼直接进行观察,采用传统目视法进行静脉穿刺难度不一,尤其对于婴幼儿、女性、老年患者、肥胖人群等,一次成功率低。应用近红外成像技术实现静脉可视化能有效辅助医护人员实现精准穿刺,也适用于疾病诊断及静脉识别等。但由于近红外静脉图像存在对比度低、灰度不均、噪声多以及静脉结构不清晰等缺点,图像增强技术对实现静脉可视化及其相关应用具有重要意义。本文研究了两种浅表静
2型糖尿病占糖尿病患者总数的90%以上,其带来的各种并发症给患者带来严重的生理以及心理困扰,也给医护人员、医疗保健系统带来巨大的负担。而人工胰腺的出现为治疗2型糖尿病提供了广阔的前景,应用于人工胰腺的血糖控制算法成为了国内外的研究热点。本文针对人体血糖调节系统的机理,对2型糖尿病的病理特性开展研究,建立了2型糖尿病患者的血糖-胰岛素生理模型,并针对其存在的滞后性、非线性、时变性与受进食干扰较大的特
交互式图像分割是指在用户提供的先验知识下,按照一定的相似性准则将图像划分为若干内部一致性强而彼此特征各异的同质连通区域,并对用户感兴趣的一个或多个目标语义区域以及轮廓进行描述,最后将它们从复杂的背景环境中分离出来。大多数一般是基于局部的像素关系来构建分割模型,无法捕获图像长距离信息,难以获得完整的目标轮廓,易出现欠分割的现象;基于局部相似性关系图的标签先验(种子点)信息传递策略虽能有效传递类内的相
在中学实验的学习中,实验操作的学习和实验现象的展示依赖各种实体实验器材,在实验条件受限的情况下不利于实验教学或者自主学习的开展。将中学实验与增强现实技术结合,使用虚拟实验器材代替实体器材,结合实验原理展示实验现象,能够方便地开展中学实验的教学和自主学习。本文对移动端增强现实技术和手势交互技术进行了研究,实现了目标检测算法特征提取网络的轻量化、移动端目标检测推理加速以及增强现实实验场景下的手势语义交
熔池形态的变化反映了焊缝成形质量的情况,包含了大量与焊接质量相关的信息。当前对焊接质量的监测主要是基于当前熔池形态,缺乏对焊接质量提前预警的研究。本文针对焊接过程中的熔池形态及其演变趋势进行研究,提出了基于当前熔池形态的驼峰、熔透和熔深的监测方法和基于熔池形态预测的焊接质量预警方法。研究内容如下:(1)基于当前熔池形态的焊接质量监测技术:首先,利用熔池视觉采集装置采集驼峰、熔透和熔深的熔池图像。其