基于多通道的人--群体机器人自然交互技术与系统研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:linxunchang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,关于群体机器人系统的研究越来越受到关注。群体机器人系统的机器人数量规模和部分智能性对人与机器人之间的交互提出了新的交互需求,如何通过自然的方式实现与群体机器人系统之间的高效交互是人-群体机器人交互研究需要解决的问题之一。针对这一问题,本文提出了基于多通道的人-群体机器人自然交互技术及系统,通过三维手势交互通道和自然语言指令通道的协作和交互信息的互补,实现了人与群体机器人之间自然、高效的交互。主要研究内容包括以下三个方面:
  (1)三维手势交互技术:采用LeapMotion作为手势传感器捕捉控制者手部信息作为人-群体机器人人机交互输入数据;提出了三维套索技术,实现了群体机器人的批量拾取选择交互;通过包围盒和碰撞检测算法,实现了坐标位置控制交互;利用虚拟手指尖的移动绘制机器人运动轨迹,并采用基于速度的自适应滤波算法对手势数据进行处理,实现了运动轨迹控制交互。
  (2)自然语言指令理解与多通道的整合技术:通过SpeechPlatformSDK实现了语音信号的识别;定义了面向群体机器人的控制指令库和指令标签,收集了对应的自然语言指令的语料库。通过基于最大熵模型的文本分类器,实现了对自然语言指令的理解;通过指令标签填充的方式将经过理解得到的指令标签与三维手势交互的手势信息整合,实现手势交互通道与语音交互通道的多通道协作,提高了交互效率。
  (3)设计并完成了基于多通道的人-群体机器人自然交互系统。系统采用头戴式增强现实显示设备HoloLens作为视觉反馈通道,通过三维手势交互技术和自然语言指令理解与多通道整合技术,实现了自然、高效、反馈直观、系统便携的人-群体机器人交互。
  本文通过群体机器人选择实验和群体机器人运动轨迹控制实验验证了技术和系统的可行性与可用性。
其他文献
学位
生物质作为一种可再生能源,其与煤混合燃烧不仅能有效降低燃煤二氧化硫、氮氧化合物和二氧化碳的排放,而且对细微颗粒物的排放也有影响。燃烧生成的细微颗粒物已成为燃烧污染中一个新兴而前沿的研究领域和热点,研究表明,生物质燃烧时细微颗粒的生成较燃煤时更容易,在二者混烧过程中生物质燃烧生成的细微颗粒容易被煤灰吸附,混烧过程细微颗粒的排放特性不同于二者单独燃烧叠加的排放特性。我国生物质资源非常丰富,发展生物质与
学位
[目的]研究牦牛源多药耐药痢疾志贺菌Sd170912全基因组序列,阐明其耐药机制。[方法]采用三代测序方法组装配合二代测序方法验证的方案,用以弥补三代测序可能出现的碱基错误及二代测序读长短无法完全拼接的缺点。首先对痢疾志贺菌Sd170912菌株进行全基因组DNA的提取。随后SMRT文库构建和二代测序文库构建及测序。对于Sd170912菌株基因组基因功能分析采用了十余个主流数据库,不同的数据库可将基
Lim Hoyeol部长在论坛圆桌研讨II"人民币离岸市场建设与发展"上表示,人民币计价的韩国外债方面相对美元还是比较低的,7月两国领导人峰会当中提到,在韩国建立境外人民币兑换中心,对于人民币国际化和韩元国际化都是非常重要的。目前中国金融市场的发展和开放,在一定程度上会影响到未来人民币国际化进程。同时,他还对韩国的人民币离岸市场做了很好的分析和展望。
在线教育市场整体规模:成人教育依然占据市场主体,K12教育成必争之地2019年中国在线教育市场规模突破3200亿元,其中74.6%为高等教育和职业培训,21.3%为K12教育。在线教育市场流量情况:月独立设备总数增速平缓,但用户使用时长增速强劲整体流量:中国在线教育APP月独立设备总数持续增长,截止到2019年12月达4.4亿台。流量增速:月独立设备总数同比增速为14%,而用户使用时长同比增速在4
会议
目的:回顾11例儿童心脏移植的适应症、排异反应监测和治疗的经验,报道用HT治疗儿童终末期心力衰竭的近期和中期存活率。方法:经优化的抗心力衰竭治疗6个月以上,心室功能仍进行性恶化的年龄在13~18岁的患者11例。术前心脏病诊断为原发性扩张型心肌病6例,致心律失常性右室心肌病2例,Becker型肌营养不良累及心肌1例,心室肥厚的扩张型心肌病1例,心肌致密化不全1例。排异反应的监测:除了严密的临床观察和
片上系统(SoC)作为一种传统的设计架构得到了广泛的应用,但是随着芯片集成度的增加,片上系统在时钟延迟和扩展性等方面逐渐显现出劣势。而由计算机网络模型发展而来片上网络(NoC)技术,因为其在扩展性、通信能力等方面具有更好的性能表现,所以作为多核互连的一种通讯方式具有广泛的应用前景。与此同时,随着单一芯片数据处理量成倍增长,芯片间海量数据实时传输需求也逐渐增大,故针对片上系统、片上网络这两类集成电路
学位
安全阀是现代工业和军事领域中十分重要的基本零件。在某型飞行器的控制装置上,安全阀的性能指标直接影响了飞行器的控制效果。本课题依托中国航天科工集团某公司的项目,在课题组前期的研究基础上,本文针对原方案的三个主要问题作了改进并完善了安全阀测试系统的相关研制与测试工作。  针对气路的电动调压执行器调压精度低,稳压效果差,被控气压存在震荡的问题。本文提出了新的气路电动调压机构设计方案,并对气路系统进行重新
人体脉搏信号是一种非常重要的生理信号,包含了大量反映人体健康状况的信息。中医学中通过脉诊的方式获取人体的脉搏信号,根据脉搏搏动的特点定义了不同的脉象信号。脉诊过程需要中医师用手指来感受人体桡动脉处的脉搏搏动,因而诊断结果受医师的主观意识和临床经验等因素的影响较大,且脉诊方法的掌握需经历长时间的学习和实践。因此,脉诊的客观化研究是中医脉诊发展急需解决的问题。本文针对脉诊客观化问题,从脉象信号的采集、
学位
高炉生产作为钢铁生产过程的上游工序,其能耗巨大约占钢铁工业的总能耗的70%,所以高炉冶炼是钢铁工业实现绿色发展的主要潜力所在。而高炉铁水硅含量作为衡量铁水质量的主要指标,同时与炉温成正相关,对其准确建模是实现高炉高效控制和实现节能减排的必要条件。因此,本文针对高炉铁水硅含量预测模型展开研究,并针对模型中一些关键参数无法确定的问题,提出一种改进的灰狼优化算法进行优化,建立了高炉铁水硅含量预测模型,其
学位