【摘 要】
:
在中学实验的学习中,实验操作的学习和实验现象的展示依赖各种实体实验器材,在实验条件受限的情况下不利于实验教学或者自主学习的开展。将中学实验与增强现实技术结合,使用虚拟实验器材代替实体器材,结合实验原理展示实验现象,能够方便地开展中学实验的教学和自主学习。本文对移动端增强现实技术和手势交互技术进行了研究,实现了目标检测算法特征提取网络的轻量化、移动端目标检测推理加速以及增强现实实验场景下的手势语义交
【基金项目】
:
国家重点研发计划《支持云端融合的智能学习环境与工具》;
论文部分内容阅读
在中学实验的学习中,实验操作的学习和实验现象的展示依赖各种实体实验器材,在实验条件受限的情况下不利于实验教学或者自主学习的开展。将中学实验与增强现实技术结合,使用虚拟实验器材代替实体器材,结合实验原理展示实验现象,能够方便地开展中学实验的教学和自主学习。本文对移动端增强现实技术和手势交互技术进行了研究,实现了目标检测算法特征提取网络的轻量化、移动端目标检测推理加速以及增强现实实验场景下的手势语义交互。首先,针对SSD(Single Shot Multi Box Detector)检测算法中特征提取网络结构复杂、网络计算量大等问题,本文结合深度可分离卷积轻量化的思想,将SSD检测算法中的VGG特征提取网络替换为轻量化的Mobilenet网络,并且使用多尺寸的卷积核组替换Mobilenet网络部分池化层的单一卷积核,在轻量化网络结构的同时能够兼顾不同感受野的特征。实验表明,该方法能够有效提升目标检测模型的平均准确率。其次,针对计算资源受限的移动设备手势检测推理速度慢的问题,本文采用网络结构修剪和移动端GPU推理加速的方法提升手势检测速度。由于实际场景中手势目标大小较为固定,去除SSD检测算法中计算量大但是对检测结果影响小的检测层,能够减少不必要的推理过程。同时借助Tensorflow Lite端侧推理加速引擎,在智能手机上使用GPU对推理运算做加速。实验表明,此方法在保证手势目标检测精度的同时,能够提升手势检测的速度。最后,本文基于移动端增强现实中学实验系统实现了中学实验实例的展示。系统使用移动端增强现实开发工具实现虚拟实验过程的展示,结合手势检测的结果,将实验操作者兴趣区域中的语义对象与交互动作结合起来,通过解析交互语义,完成具体的交互操作并展示实验现象。
其他文献
随着网络的飞速发展,社会信息化程度的日益提高,轨道交通列车网络需要承载更多的数据,对网络带宽提出了更高的要求。基于以太网的列车实时数据协议(Train Real-time Data Protocol,TRDP),由于其高可靠性及高实时性,而受到了广泛的研究。本文基于Linux系统实现了TRDP协议,并在此基础上完成了基于TRDP的列车门控软件更新系统。首先介绍TRDP和列车门控软件更新系统的背景以
工业焊接中,熔池视觉形态特征对焊接工艺质量的在线控制起着关键的作用,本文对熔池轮廓边缘的提取算法以及成形焊缝宽度的预测方法进行深入的研究,实现了准确的熔池轮廓提取与焊缝宽度预测。主要研究工作如下:(1)建立了基于被动式视觉传感法的熔池图像采集系统,针对TIG焊不锈钢熔池图像的特点,为了在充分挖掘弱边缘信息的同时获得封闭完整的熔池轮廓,对传统图像算法进行改进设计了一种熔池轮廓提取算法(Operato
随着计算机视觉的快速发展,目标跟踪技术在民用和军事等领域得到了广泛地应用,成为当前研究的热门方向。在跟踪任务中,存在着众多的挑战,比如目标遮挡、暂离视场、光照变化、目标形变等,往往造成跟踪任务失败。因此,提升跟踪器应对复杂状况的性能,优化跟踪策略,提高单目标乃至多目标跟踪准确性,具有很高的研究价值。本文针对上述问题开展研究,主要的研究工作分为两个部分:(1)提出基于区域相似性匹配的目标跟踪算法Si
快速增长的互联网消费群体使网络数据呈现爆炸式增长,网络的规模在不断地扩大,网络的拓扑结构也变得日益复杂。同时,消费者对于网络响应的实时性要求在不断提高,这要求系统进行路由选择时能够提供一种快速计算节点之间最短路径算法;计算机网络中同一时间会存在大量的网络请求业务,为了防止网络链路出现负载过重甚至网络拥塞的情况,要求系统能够提供一个优良的全网优化算法对业务进行合理的分配,提高网络资源的整体利用率。本
随着信息技术、网络技术、物联网技术与人工智能技术的发展,控制系统中的被控对象已经从之前的单一对象发展为包含多个对象的多智能体系统。在关于多智能体系统协同控制的研究中一致性研究是其中的一个重要领域,所谓多智能体的一致性意味着各个子系统之间通过信息交流而达到预期状态的一致。在实际控制中一个整体系统的各个子系统之间往往同时存在着竞争和合作的关系,这就要求最后达到的一致性控制效果是双边一致的。与此同时在工
实体集自动扩展技术是通过种子实体集合,结合语料库中的文本信息,扩展出新的同类型实体的技术。在构建知识库、在线问答等领域中有着广阔的应用前景。现有实体集合扩展系统的输入是一个特定类型的种子实体集合和特定领域下的语料库,输出则为所得到的同类的新实体集合。传统的实体集合扩展技术主要有基于概率模型、分布相似性、词向量等的方法。通过提取种子实体在语料中的相应特征,借助该特征匹配其他新实体。然而,传统方法存在
随着车载和机载成像平台应用日益广泛,对成像装置的智能化需求越来越高。基于图像分割技术的场景解析作为成像装置智能化的一个重要研究方向,也受到了更多的重视。本文针对车载和机载成像平台的图像分割技术各自的特点开展算法研究,主要研究工作如下:(1)车载成像平台面对的场景复杂,轻量级分割算法对图像分割精度不高,本文针对此问题构建了邻域增强分割模型。该模型在轻量级网络上加入了Skip解码器模块和邻域增强模块,
由于浅表静脉位于皮下5~10mm以内,无法用肉眼直接进行观察,采用传统目视法进行静脉穿刺难度不一,尤其对于婴幼儿、女性、老年患者、肥胖人群等,一次成功率低。应用近红外成像技术实现静脉可视化能有效辅助医护人员实现精准穿刺,也适用于疾病诊断及静脉识别等。但由于近红外静脉图像存在对比度低、灰度不均、噪声多以及静脉结构不清晰等缺点,图像增强技术对实现静脉可视化及其相关应用具有重要意义。本文研究了两种浅表静
2型糖尿病占糖尿病患者总数的90%以上,其带来的各种并发症给患者带来严重的生理以及心理困扰,也给医护人员、医疗保健系统带来巨大的负担。而人工胰腺的出现为治疗2型糖尿病提供了广阔的前景,应用于人工胰腺的血糖控制算法成为了国内外的研究热点。本文针对人体血糖调节系统的机理,对2型糖尿病的病理特性开展研究,建立了2型糖尿病患者的血糖-胰岛素生理模型,并针对其存在的滞后性、非线性、时变性与受进食干扰较大的特
交互式图像分割是指在用户提供的先验知识下,按照一定的相似性准则将图像划分为若干内部一致性强而彼此特征各异的同质连通区域,并对用户感兴趣的一个或多个目标语义区域以及轮廓进行描述,最后将它们从复杂的背景环境中分离出来。大多数一般是基于局部的像素关系来构建分割模型,无法捕获图像长距离信息,难以获得完整的目标轮廓,易出现欠分割的现象;基于局部相似性关系图的标签先验(种子点)信息传递策略虽能有效传递类内的相