论文部分内容阅读
近年来,关于群体机器人系统的研究越来越受到关注。群体机器人系统的机器人数量规模和部分智能性对人与机器人之间的交互提出了新的交互需求,如何通过自然的方式实现与群体机器人系统之间的高效交互是人-群体机器人交互研究需要解决的问题之一。针对这一问题,本文提出了基于多通道的人-群体机器人自然交互技术及系统,通过三维手势交互通道和自然语言指令通道的协作和交互信息的互补,实现了人与群体机器人之间自然、高效的交互。主要研究内容包括以下三个方面:
(1)三维手势交互技术:采用LeapMotion作为手势传感器捕捉控制者手部信息作为人-群体机器人人机交互输入数据;提出了三维套索技术,实现了群体机器人的批量拾取选择交互;通过包围盒和碰撞检测算法,实现了坐标位置控制交互;利用虚拟手指尖的移动绘制机器人运动轨迹,并采用基于速度的自适应滤波算法对手势数据进行处理,实现了运动轨迹控制交互。
(2)自然语言指令理解与多通道的整合技术:通过SpeechPlatformSDK实现了语音信号的识别;定义了面向群体机器人的控制指令库和指令标签,收集了对应的自然语言指令的语料库。通过基于最大熵模型的文本分类器,实现了对自然语言指令的理解;通过指令标签填充的方式将经过理解得到的指令标签与三维手势交互的手势信息整合,实现手势交互通道与语音交互通道的多通道协作,提高了交互效率。
(3)设计并完成了基于多通道的人-群体机器人自然交互系统。系统采用头戴式增强现实显示设备HoloLens作为视觉反馈通道,通过三维手势交互技术和自然语言指令理解与多通道整合技术,实现了自然、高效、反馈直观、系统便携的人-群体机器人交互。
本文通过群体机器人选择实验和群体机器人运动轨迹控制实验验证了技术和系统的可行性与可用性。
(1)三维手势交互技术:采用LeapMotion作为手势传感器捕捉控制者手部信息作为人-群体机器人人机交互输入数据;提出了三维套索技术,实现了群体机器人的批量拾取选择交互;通过包围盒和碰撞检测算法,实现了坐标位置控制交互;利用虚拟手指尖的移动绘制机器人运动轨迹,并采用基于速度的自适应滤波算法对手势数据进行处理,实现了运动轨迹控制交互。
(2)自然语言指令理解与多通道的整合技术:通过SpeechPlatformSDK实现了语音信号的识别;定义了面向群体机器人的控制指令库和指令标签,收集了对应的自然语言指令的语料库。通过基于最大熵模型的文本分类器,实现了对自然语言指令的理解;通过指令标签填充的方式将经过理解得到的指令标签与三维手势交互的手势信息整合,实现手势交互通道与语音交互通道的多通道协作,提高了交互效率。
(3)设计并完成了基于多通道的人-群体机器人自然交互系统。系统采用头戴式增强现实显示设备HoloLens作为视觉反馈通道,通过三维手势交互技术和自然语言指令理解与多通道整合技术,实现了自然、高效、反馈直观、系统便携的人-群体机器人交互。
本文通过群体机器人选择实验和群体机器人运动轨迹控制实验验证了技术和系统的可行性与可用性。