脑机接口(Brain-Computer Interface,BCI)可以将人的思想转化为控制信号,这给帮助残疾人提供人机交互服务提供了方法;但是由于BCI传输效率的限制,在生活中使用BCI系统为人提供基础的服务还是比较困难的。本文使用结构光传感器与NAO机器人构成Eye-to-Hand视觉伺服抓取系统,使用脑电波传感器获得脑电信号;将机器人视觉伺服控制与脑电波控制方法结合,实现了一种新型人机交互方式:通过四种频率的视觉刺激诱发稳态视觉诱发电位(steady-state visual evoked potential,SSVEP),事先对四种频率对应的目标特征进行录入;通过特征识别的方法识别信号对应频率并生成控制信号,通过人形机器人实现抓取,并设计信息物理系统,实现远程抓取的监控;提高了BCI系统的可操作性,为改善目标人群的生活质量打下基础。本文研究内容主要包括以下方面:(1)利用D-H方法对机器人手臂建模并进行逆运动求解,分别使用基于颜色特征和基于加点特征的图像匹配方法识别了目标物体和机器人末端执行器,并获得其三维坐标,根据相对坐标进行了手眼标定,最终完成了基于Kinect视觉和NAO机器人的视觉伺服抓取系统,验证了系统性能。(2)研究了脑电波产生的机制与原理,设计了采集实验,制定了采集规则;对采集得到的脑电波进行信号预处理,得到较为纯净便于实验的信号。(3)使用分数傅里叶变换改进了梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)的特征提取方法,提高了信号的信噪比,减少了因为训练数据不足造成的模型过拟合现象。构建了隐马尔科夫模型并使用已标记的脑电波信号训练模型,使用测试数据验证了模型的分类性能,与使用普通MFCC训练得到的概率模型比,分类准确度得到提高;搭建了基于稳态视觉诱发电位的脑机接口,通过两名志愿者的实验评估系统的性能。(4)建立机器人的数字孪生(digital twin,DT)模型,使其与机器人实体数据互通、互相可操作;在Visual Studio环境下开发应用程序,实现人机交互界面,使用者可以实时远程监控机器人情况并通过脑电波或界面对远程机器人进行控制;使用Python编写机器人端控制程序,使机器人可以接收指令并最终完成抓取。基于该系统设计了新型人机交互方式,通过脑电波告知机器人抓取目标,然后机器人完成抓取。