在基建现场通过智能视频监控实现人体连续动作识别对于保障工人安全有着重要意义。连续动作由多个动作组成,具有一定的复杂性,而已有的深度学习网络结构复杂度高、准确率低,用于人体连续动作识别还有一定缺陷。因此,本文对连续动作识别展开研究,从单一动作的角度出发,设计了一种具有注意力机制的G-ResNet网络模型,然后结合滑动窗口完成连续动作识别。针对现有模型不能更好的提取视频时空特征的问题,本文提出基于G-ResNet网络的人体动作识别模型。首先该模型使用残差网络ResNet34提取深层空间特征,解决深层网络出现退化的问题,其次使用GRU网络获取视频帧之间的时序信息,处理帧序列之间的长期依赖关系,最后采用三步训练策略优化网络模型,改善了动作识别的准确率。针对G-ResNet 网络提取特征信息不充分的问题,本文提出基于FSAG-ResNet网络的人体动作识别模型。该模型是在G-ResNet网络的基础上,首先对ResNet34网络引入空间金字塔池化操作,用多尺度窗口提取特征,使提取的特征更加丰富,其次对GRU网络融合时间注意力机制,根据视频帧序列的重要程度,为其分配不同的权重值,提高GRU网络捕捉更多关键特征的能力,进一步提高了动作识别的准确率。为了实现基建现场的连续动作识别,本文提出采用滑动窗口结合FSAG-ResNet 网络的方法。首先建立基建现场不同场景的单一动作和连续动作视频数据集,其次利用迁移学习的思想,将FSAG-ResNet网络应用于基建现场,采用全部单一动作片段以及部分连续动作划分后的片段训练迁移的网络模型,最后对连续动作视频采用平滑窗口去除突变结果,完成连续动作识别。实验结果表明,FSAG-ResNet网络模型在UCF101上的准确率达到96.2%,在HMDB51上的准确率达到64.3%,相比其他主流网络,有较大的提升。同时将滑动窗口结合FSAG-ResNet网络模型用于连续动作识别,可以实时检测到连续动作视频中的每个动作,平均识别率为88.79%,验证了本文算法的有效性。