异常操作检测与预警是衡量企业安全生产的重要指标之一,传统异常检测算法使用手工特征或浅层神经网络来评估操作的安全级别。受车间工况、光照差异、模型能力等因素影响,传统算法通常无法取得理想的准确与鲁棒性能。本文提出了一种基于深度学习的人员异常操作视觉检测算法,该算法包含人员检测和行为识别两部分。首先提出了传统的基于空间金字塔和特征集成人员检测算法,通过分析其准确性与实时性,提出了改进的基于特征融合的轻量级人员检测网络;针对复杂的时序行为识别问题,结合深度残差网络、3D卷积与双向长短期神经网络完成高精度行为识别;最后通过合理分配计算资源,建立了基于功能分离的负载均衡型检测框架。本文的主要工作如下:(1)提出基于空间金字塔和特征集成的人员检测算法。算法引入多尺度检测,通过对原始图像构建高斯金字塔空间,解决不同视距下目标检测难点。提出双通道串行特征集成框架,利用计算速度快、漏检率低的HOG-PCA基础检测器和线性支持向量机做初步检测;识别精度高、错检率低的RGB-SIFT-PCA改进检测器和随机森林做二次筛选;最终使用非极大值抑制算法去除冗余标定框。(2)改进上述检测算法,提出一种基于特征融合网络的轻量级人员检测算法。针对传统神经网络在中低端硬件平台下检测实时性低的问题,提出使用卷积层削减与Xception结构降低网络参数空间与计算复杂度。针对参数缩减导致特征丰富性下降问题,结合捷径连接与降维思想,通过中高层特征图融合的方法,提高了算法在人员尺度差异情况下的检测性能。(3)提出一种基于深度时空网络的异常操作识别算法。该算法改进3D卷积网络与双流卷积网络等模型识别精度低、计算开销大的问题,提出基于参数共享的深度残差网络作为前置特征抽取器,提取图像帧空域特征;提出结合3D卷积与双向长短期记忆神经网络抽取时域特征并完成时序操作的识别。(4)将深度学习技术应用于车间人员异常操作检测。分析了算法实际运行的硬件平台,提出一种基于功能分离的负载均衡型检测框架。将轻量级人员检测网络置于中低端配置的机器人客户端,保证人员检测的实时性与计算并行性;异常操作识别算法部署在高性能服务器端,实现对人员时序操作的高精度分析。同时通过在服务器端创建多运行实例,提升整体系统并行性能,降低响应时间。