悬臂式掘进机是煤矿开采行业的重要设备之一,尤其在短距离掘进作业以及软煤层开采等领域具有广泛的应用前景。为了应对巷道作业面危险性高、工况差等问题,对于悬臂式掘进机无人化、信息化运行方面的研究,是目前国内外煤矿开采行业重点的发展方向。本文针对以上现状,充分利用掘进作业面完善的视频监控与网络体系,提出了基于视觉的悬臂式掘进机截割头定位与远程控制系统。对于截割头跟踪与空间位姿解析、断面自动化成形以及掘进机远程操作等问题进行研究。与现有的无人化掘进机研究成果相比,降低了控制系统对于多传感器融合的依赖以及掘进机的改造成本。本文完成的主要工作如下:(1)建立纵轴悬臂式掘进机截割臂运动模型。采用D-H坐标变换以及机器人运动学分析,建立了摄像机与掘进机位姿模型和截割臂运动模型,计算了截割头的运动学方程和运行包络线。采用棋盘标定法对监控摄像机进行标定,得到了像素坐标系下截割头位置坐标与截割臂转角的映射关系,为基于视觉的截割臂定位与远程控制提供了理论基础与数据依据。(2)基于置信图与时空上下文模型(STC)的单目标跟踪算法,采用SSDA模板匹配以及时空上下文模型对视频画面中截割头进行跟踪识别,比较了两种算法的跟踪精度与速度。同时分析了跟踪过程中静态偏差产生的原因,针对由于截割头与岩壁背景混淆而产生的跟踪偏差问题,利用目标本身的位姿信息,提出了截割头跟踪的改进算法,改变目标跟踪区域,并通过截割臂运动模型对静态坐标偏差进行补偿,与单纯的基于时空上下文的目标跟踪算法相比,提高了定位的精度和稳定性。实现了基于Monitor-Based增强现实的信息融合,采用改进的SSDA多目标模板匹配与粒子群算法对掘进机控制面板中的元件进行跟踪标定,实现视频画面中目标元件与虚拟信息的融合。(3)根据断面成形工艺,制定了基于视觉的截割臂远程控制策略,根据图像坐标偏差对截割臂位姿进行控制。同时分析了Bang-Bang控制器下网络延时对于控制精度和稳定性的影响,针对高延时下输出信号震荡的问题,采用Smith预估补偿器进行补偿。降低了远程控制中由于控制信号滞后造成的截割臂震动和坐标偏差,提高了断面成形的精度。(4)提供了一种B/S视频远程控制系统的架构并搭建了掘进机远程控制平台,从客户端、服务器端以及图像多目标识别算法三个角度,讨论了系统各部分的组成与功能。与传统的C/S架构控制系统相比,此架构下系统的功能划分更加清晰,可移植性更好,更适用于多用户多硬件的应用场景。目前在理论分析的基础上,对系统各部分进行整合,完成了截割臂运动的仿真和掘进机模型的测试,验证了截割臂模型坐标变换的正确性以及在模拟环境下跟踪算法可行性,为无人化悬臂式掘进机的研究提供了一种较为完善的解决方案。