论文部分内容阅读
图像显著性检测在应对场景中目标的准确确定位置和对应内容的搜索任务中起到了至关重要的作用。虽然近年来,针对图像显著性目标检测的算法以及研究方法有很多被提出,尤其是基于深度学习的图像显著性目标检测算法,但是对应的任务精度和图像显著性特征利用率仍然有提升空间,以及复杂条件和场景下的显著性目标检测任务仍然没有得到很好的解决。所以针对以上各类问题,本文分别提出了基于深度多尺度特征信息级联网络架构和同功能的深度模型的多模态显著性目标检测算法,以提高图像显著性目标检测的精度和图像特征的利用率,以及解决复杂条件和场景下的显著性目标检测结果鲁棒性和精确度的提高。本文中主要工作如下:(1)全卷积神经网络在当前的显著性检测任务中起着重要的作用,因为它的多层结构描述了图像在不同尺度下的深度特征。为了合理有效地聚集和利用各层次的显著特征,提出了一种新型的端到端多层卷积特征级联模型。该模型由两个模块组成:一是通过改进的全卷积网络实现的多层次深度特征提取模块;另一个模块是多层次特征融合模块,它通过级联、上采样、反卷积等操作,将多个池化层对应的全局轮廓特征和局部精细特征有效的合并为一个整体。最后,利用融合模块的输出,通过进一步的学习来预测显著性图。该模型能够有效、灵活地聚合多层卷积特征,并提供精确的显著性预测图。(2)在上一个工作的基础上,将深度特征提取的网络架构模块进行改进,使稠密连接模块与之前的深度模型相结合使整体模型更加轻量化,以便于深度模型训练更快的收敛,同时保持单模态下的显著性目标图片结果的精度和准确度有所提升。且提升生成最终显著性预测图像的效率。运用多模态数据集进行双端同步训练,将不同模态下的可见光谱图片的显著性预测图和热红外光谱图片的显著性预测图通过一致性约束进行跨模态融合生成最终的显著性预测图片,使模型在应对复杂干扰场景的时候有更好的表现,这种将深度学习和传统算法相结合的方式使整体算法拥有更高的鲁棒性,以应对现实生活中可能出现的各种具有挑战性的场景。