人眼注意机制不仅受视觉刺激的影响也取决于音频信号的刺激,现有视频显著性检测算法仅使用视觉信号作为输入信息,很少考虑音频信号对显著性的作用。然而音频信号中包含语义丰富的听觉信息,此信息对显著性具有重要价值。因此,充分利用音频信号中的语义信息辅助基于视觉信息的显著性检测极有意义。不同的音频分类网络,在不同的数据集下训练,将识别不同的音频语义信息。在处理音频信号时由于网络关注的语义信息不同,将产生不同的音频特征。这意味着不同的数据来源会产生不同的特征。由此,为保证音频网络输出特征的完整性,应选取不同数据集训练音频网络,提高网络的泛化能力。音视显著性检测方法采用双流网络结构,音视信号将相互影响导致有益信号的促进作用和无益信号的抑制作用。由于在音视显著性检测中,视频信号起主导作用,音频信号起辅助作用。在音视信号不一致时,双流网络的无效音频信息对视频信息产生负面影响,削弱物体的视觉特征导致显著性预测不够准确。所以,保留对显著性检测起主导作用的视觉信息,对音视融合后的特征进行特征增强,有助于解决上述问题带来的负面影响。此外,定位音频信息和视频信息,两种信息充分交互的方式也至关重要,传统融合方式忽视了特征属性的重要程度,无法实现两种信息的有效融合。因此,需要采取注意机制进行特征融合,实现信息的有效交互。针对上述问题,本文提出两种解决方案:1.提出一种基于共注意力的多流音视显著性检测算法。传统音视显著性检测算法使用单一的音频流和视频流作为输入,但是在不同数据集上预训练的音频网络针对同一数据会产生不同的音频特征。因此选取在不同数据集上预训练的音频网络,通过识别不同的音频信号,可以产生不同的语义信息。该方法基于音视网络模型选取增添额外的音频网络,该网络在大型数据集上训练,能够识别更多音频信号。通过选取在不同数据集上训练过的网络,保证网络提取音频信息的完整性和准确性。另外,音视信息的融合采用传统方式不利于信息交互,学习不到特征间的共性,无法实现特征间的有效融合,该方法采取共注意机制对声源信息和视觉信息进行融合,学习彼此的相关性,使两种信息保持一致。2.提出一种基于视觉信息补偿的多流音视显著性检测算法。在音视信号不一致时,传统双流音视显著性方法导致无关音频信息对视觉信息的削弱,影响视觉信号对显著性的作用。首先,该方法在双流音视网络的基础上增加单独的视频编码分支,保留视频信号中完整的物体外观和运动信息,来改善音频对视频的削弱,增强视频特征的显著性。其次,在弥补视觉信息的过程中,融合策略决定信息补偿的效果。该方法利用特征融合策略将视频编码特征与音视频显著性特征相结合,增强视觉信息的表达,实现音视不一致情况下对视觉信息的补偿。理论分析和实验结果表明,本文方法在音视数据集上超过其他方法,在显著性检测方面具有较好的效果。无论是添加额外的音频分支还是视频编码网络都能提升显著性检测性能,而且融合策略可以使不同的特征向量进行有效交互,增强意义特征属性权重,进而保证特征信息不丢失,补偿音视不同步问题导致的特征削弱问题。