随着计算机视觉和人工智能技术的进步,智能监控系统大量应用于安防邻域,自动完成异常行为的识别,提高了监控的效率和识别的准确率。入侵行为和攀爬行为是与场景关联的异常行为,检测这两种异常行为可以及时发现异常状况,减少危险恶性事件的发生。监控系统使用单一种类的传感器存在局限性,在低照度和低能见度条件下,需要利用红外和可见光图像的互补特性,使用融合图像中的信息识别关联场景的行为。针对监控场景下摄像头位置固定,可见光与红外成像的尺度、视角、目标特性等存在差异,导致现有以特征匹配为主的配准及融合方法的效率及准确性受限的问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。将红外图像的目标和可见光图像的场景细节融合到一张图像中,实现目标快速准确定位。首先,通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。然后,使用MaskR-CNN网络提取红外图像中的目标行人显著性区域,根据视场转换模型点将每个红外目标区域与可见光背景局部融合。最后,通过违规入侵行为辨识对方法进行实验验证。针对低照度条件下目标行人的攀爬行为辨识问题,本文的方法将红外和可见光图像融合与行为识别结合,根据提取人体骨架得到的姿态信息和视角变换获得的目标位置信息检测攀爬异常行为。首先,根据红外和可见光图像视场转换模型初步获得人在场景中的位置信息。然后,对MaskR-CNN检测到的目标进行单人骨架信息提取,使用深度神经网络提取特征和分类。最后,根据目标位置和姿态信息分析识别攀爬行为并融合。实验表明,本文提出的方法可以将红外图像的热敏目标与可见光场景进行有效融合,可以准确及时地判断是否发生攀爬异常行为。