论文部分内容阅读
手势是一种自然、直观、易于学习的人机交互手段。利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提。本文的手势的实时输入可以进一步分为两个步骤:对于已定义手势的识别及根据系统识别的手势完成输入。手势输入作为一种新型的人机交互技术,已经成为涉及图像处理、模式识别、计算机视觉等领域的一个比较活跃的课题。由于手势定义的灵活性、复杂性及不同手势之间的相似性、以及时间和空间上的差异性等特点,加之人手是复杂变形体,使得手势输入又是一个极富挑战性的多学科交叉的研究课题。本文源于国家863课题“基于手势的拟人化人机交互系统”,完成了双手的手势图像预处理、手势特征的提取、已输入手势的识别及对于输入法的控制输出,其中包括手势图像的切分。在图像的识别率和识别速度上都有一定的提高。在自然光照,实验室光照,复杂背景和简单背景下的识别情况进行了实验对比,较好的解决了在复杂背景下识别率较低的问题,并且光照条件不再局限在实验室光照条件下,自然光照条件下也能有较高的识别率。 本文设计并实现了基于双摄像头的实时手势输入系统,该系统能够实时地完成对于左右手的识别工作,并通过识别结果对输入法进行控制,在左右手交替输入的过程中提高了输入效率。本系统的完成主要包括四个步骤:首先,对摄像头捕捉的手势图像进行预处理:根据人体肤色特征从一帧图像中提取分割出手势区域,并对分割后的手势图像进行相应的增强、二值化及使用拉普拉斯边缘提取算法获取手势轮廓,再用白色填充手势区域;第二步是对手势图像进行特征提取:通过对多种特征及算法的比较,本文选取了包括手势几何特征,Zernike矩特征,傅里叶描述子共同描述的手势特征,并且取得了较好的效果;第三步进行手势识别:采用多层感知器进行手势的分类识别,由于采用单目视觉的方法,故实时性也较好;最后是对输入法的控制:将手势分为字母手势和操作控制手势,字母手势实现了连串的输入,操作控制手势实现对输入法的启动,输入信息的修改及完成。