论文部分内容阅读
森林防火是保障生命财产安全的重要课题,而烟火产生的早期阶段是火灾预警的重要阶段,对烟的检测能更早的发现火灾警情并进行预防,因此,本课题重点研究白天可见光环境下森林火灾发生初期的森林烟火检测。近年来,基于视频图像森林烟火检测的研究受到越来越多专家学者的关注。与室内烟火检测不同,森林具有距离远,光照条件多变,受天气干扰大等复杂场景因素,在实际检测中需要克服这些复杂环境。本文围绕基于视频图像的森林烟火检测中所涉及的关键问题展开研究。目前,林火检测系统可采用前端识别方式或后端(中心)识别方式。前端识别方式识别模块置于前端,其优势是可保证视频质量,不受网络带宽影响,但前端设备模块不具备高性能运行条件,因此,难以运行深度学习算法;后端识别方式分析识别模块在中心视频分析服务器,可利用中心服务器处理能力强的优势,进行高性能视频分析识别。因此,针对目前前端与后端运行条件,本文分别从传统方法和深度学习方法两个方面进行算法设计与实现。论文主要研究内容如下:(1)提出了基于运动与亮度显著性的运动区域提取方法。烟火运动会产生发散,造成不连续的区域,且由于背景、折射等因素,局部区域之间显著性存在差异,因此,需要针对各连续运动区域分别进行局部显著性特征值的计算。其次,针对各连续运动区域中的动态与静态显著性特征提取,一方面,由于烟火通常运动缓慢,连续区域中近邻的像素点在连续帧中运动显著性相对较弱,称为弱动态显著性区域,另一方面,其亮度特征较颜色、纹理、轮廓等更具有显著性。为此,本文针对森林烟火检测任务中的显著性区域提取,提出了基于运动与亮度显著性的运动区域提取方法。首先提出了基于全局运动显著性的连续运动区域提取,然后在各连续运动区域中,结合空间信息并利用高斯模型,保留弱动态显著性区域特征,另一方面,在Lab颜色空间中构建亮度显著性特征计算模型,最后将运动与亮度特征相结合,计算组稀疏参数,并基于组稀疏ROSL算法得到显著性区域。实验表明,该方法减少了森林环境中非显著性运动区域的干扰,对显著性区域的提取更加精确,从而降低了后续对烟火识别的误报率,提高了烟火检测的效率。(2)提出了基于全卷积神经网络的显著性运动区域提取方法。针对基于深度学习的视频图像显著性运动区域提取,目前主要采用两种策略,一种是采用卷积神经网络并结合多种上下文的深度学习框架学习深度特征,这种方法过分提取图像超像素深层特征信息,忽略了块内的一部分语义信息,导致提取不出足够的像素位置信息;另一种策略是在多帧密集光流上进行模型训练,这种方法计算成本高,无法满足运动区域提取的实时性要求,而且经过调整的模型只针对特定的对象类。考虑全卷积神经网络能够直接生成图像像素级映射,其广泛用于图像分割,本文将全卷积神经网络语义分割的功能与显著性区域提取目标相结合。首先提出了基于全卷积神经网络的显著性区域提取模型,构建网络训练目标损失函数,直接得到静态图像像素级显著性映射,另一方面,结合动静态显著性检测方法,将端到端静态显著性映射延伸到对动态显著性的预测,提出了基于全卷积神经网络连续帧的动态显著性模型,同时将静态显著性图谱作为输入,可以快速准确地修正视频动态显著性区域。最终实验表明,针对森林烟火检测复杂环境,本文方法能够快速有效地得到显著性运动区域。(3)提出了基于稀疏特征提取的森林烟火识别方法。传统目标识别算法直接对目标区域进行特征提取,忽略了烟火半透明、多变的厚度和发散等特性,烟火成分常与背景信息融合形成干扰信息,因此,本文首先构建了基于弹性网络(elastic-net)与辨别性约束条件的烟火区域分离模型,将局部区域的成分看成背景与前景的线性组合进行分离,并将稀疏系数向量作为烟火和非烟特征进行分类与识别,提高了烟火和非烟系数特征的辨别力;针对分类器设计,考虑Ada Boost能够通过提升级联弱分类器分类性能从而达到增强分类器的效果,然而传统Ada Boost对基分类器的提升性能不够鲁棒,且无法增强性能“较强”的基分类器。为了解决Ada Boost自适应参数选择和权重更新的问题,本文提出了一种鲁棒Ada Boost(RAB)方法,将径向基函数支持向量机(RBFSVM)作为基分类器并加以改进。实验表明,将烟火与背景等其他成分分离,同时提取稀疏特征,能够为后续烟火特征提取与识别提供针纯净烟火的可靠信息,采用改进的RAB-RBFSVM提高了分类器的鲁棒性与识别的准确率。(4)提出了基于P3D-DenseNet的森林烟火识别方法。针对基于深度学习的森林烟火识别,早期提出的三维卷积神经网络(C3D)可以同时从时间维度和空间维度上捕捉运动行为和静态形态特征,然而C3D网络存在计算复杂,占用内存大等问题,本文参考伪3D网络(Pseudo-3D,P3D),将学习图像三维信息的卷积操作改用二维空间卷积和一维时间卷积来模拟3D卷积,既能够很好地用于视频特征表达,又大大减少了计算量。然而P3D网络是将这种设计整合到一个深度残差学习框架中,而这种模块级联随着网络的深入,存在模型退化与梯度消失的问题,另一方面,P3D网络连接采用残差网络(Res Net)结构,无法充分利用各层网络特征,因此,为了优化P3D网络,本文引入DenseNet重构P3D模块,实现了各层网络的特征复用,并将不同P3D模块融合形成P3D-Dense Block,保持结构块的多样性,在解决计算复杂度问题的同时,缓解网络训练的梯度消失和模型退化等问题,提高了基于连续帧视频图像的森林烟火识别的效率与准确率。