论文部分内容阅读
随着人机交互技术的快速发展和人机工程学、用户体验等领域的研究逐步深入,人们对机器人可用性与易用性的要求越来越高。手势理解用于人机交互已成为人机交互技术重要的研究内容。目前,手势识别的解决方案中,大部分方案存在准确率不足、使用场景限制多等问题,仍不能实际应用到工业协作机器人中。本文应用Python开发语言,建立了一套面向协作机器人完成装配作业的手势语言库,实现了协作机器人的手势识别人机交互系统。基于Kinect平台采集人体深度图像,给出了“静态手势识别与动态手势识别算法”;其中,基于阈值的手势分割算法对手部图像进行分割,提取出手势轮廓的相关操作的特征信息;同时,基于K-curvature检测手部的手指点数量,进而确定手势的类别。基于HMM-NBC模型的动态手势识别方法,利用获得到的大量的手势图像特征以及运动轨迹特征,训练HMM模型,通过NBC分类器实现动态手势分类,实现了对手势(语义)的添加以及录入等功能。本文根据装配齿轮泵的工艺需求设计了相应手势,将系统与协作机器人对接,完成了人机协作装配的工作站平台。实验结果表明:手势交互系统可在真实环境下实现协作机器人的齿轮泵人机协作装配操作,单个动作识别率达到了90%以上的设计要求,实现了基于Kinect平台的协作机器人手势识别问题。本文所实现的“手势(手语)识别方案”对于一类协作机器人的“通过手势实现人机交互”具有实际意义。