近年来,随着中国制造业的飞速发展,工业机械臂的应用也越来越广泛。因此,如何通过提升机械臂的智能化水平来实现人机协作是该领域的研究热点。解决人机共享环境的有效感知和场景理解问题是实现具有与人协同工作能力的新一代工业机械臂系统的核心。为此,本文研究了基于场景的实时认知实现人和机械臂协作装配复杂工件的问题,并以孔明锁为实例进行了实验验证。本文提出了基于RGB图像的目标物体检测方法和基于深度图像的目标物体检测方法,这两种检测方法都能够实现对场景中目标物体的检测。通过对比实验,发现基于深度图像的目标检测方法获得物体位置信息具有更高精度,且不受观察角度影响。因此,在对场景进行目标检测时,使用基于深度图像的方法对目标物体与背景进行分离,进而得到目标物体的RGB-D图像。通过本文所提的改进ICP点云匹配算法,求得目标物体在感知系统坐标系下的准确位姿。为了确定目标物体在机械臂坐标系下的位姿,对感知系统与机械臂进行联合标定,获得两个三维坐标系之间的转换关系,通过位姿变换将目标物体投影到机械臂坐标系下,作为机械臂运动的目标点位。依据本文提出的机械臂运动控制方法对机械臂进行运动路径规划,得到机械臂的运动轨迹。按照该既定的轨迹实现机械臂对目标物体的抓取、放置以及装配。通过人手与机械臂协作装配孔明锁,对本文所提方法的有效性和实时性进行测试。实验过程中,目标物体位姿估计的准确性和机械臂运动的实时性都能够满足要求,并最终按照孔明锁的真实装拼步骤完成装配任务。