视频场景分割是基于内容的视频检索中的重要环节,作为多媒体信息分类与识别的基础,对视频数据的理解发挥着重要作用。其将镜头作为研究的对象,并根据镜头的特征和时间上的关联性将相似的镜头簇划分为同一个场景。传统的视频场景分割方法没有全面考虑视频内容所包含到的语义信息,仅仅是基于视频的底层特征,从而导致场景分割的准确性并不高。Chasanis等人用谱聚类和低层颜色特征聚类,根据以关键帧表示的镜头所属聚类进行标记,使用NW(Needleman-Wunsch)算法从符号序列的对齐分数中检测场景边界。但当两个相邻的场景相似且遵循相同规则时,易造成场景分割错误。Sidiropoulos等人引入了STG(Shot Transition Graph)近似的方法,利用了视觉和听觉通道的特征。但在对视觉特征及听觉特征相近似的镜头进行聚类时并未结合上下文,从而不利于场景的分割。针对使用低层颜色特征聚类、引入STG近似计算镜头相似度及多特征融合的问题,该文根据视频多模态之间时序关联共生的特性,提出了一种基于深度网络的多模态视频场景分割算法。首先,对视频的多模态特征进行提取。不仅从每个镜头中提取视觉、音频、文本等丰富的底层特征,还结合了视觉概念及文本概念所构成的语义概念特征。其次,提出了基于三重深度网络的体系结构,对三重损失的三元组进行选择,并训练合适的卷积神经网络模型。然后将每个镜头特征向量所串联的整体特征向量,作为三重深度网络的输入并进行嵌入空间学习,通过计算两个镜头整体特征向量之间的距离来得到语义相似性的度量值。最后,最小化时间段内距离的平方和对镜头进行聚类处理,最终得到语义层面的场景。实验结果表明,该文算法能对视频场景实现有效地分割,在场景分割精度上具有良好的性能。综合度量指标F值达到86.24%,比Chasanis等人使用底层颜色特征与NW算法相结合的方法提高了12.17%,比Sidiropoulos等人提出在STG中融合视觉及音频特性的方法提高了8.96%,查全率、查准率分别达到85.83%和86.81%。