基于内容的视频检索(CBVR)是当前图像工程热点课题之一,它指根据视频的内容及上下文关系,对大规模视频数据库中的视频数据进行检索。可是人们习惯使用高层语义概念判断相似性,但是现有的视频内容检索大多是非语义层面的。由于低层特征和高层语义概念之间存在语义鸿沟,在语义概念层次进行视频内容的描述和操纵面临巨大的困难。如何跨越低层特征和高层语义概念之间的语义鸿沟,实现基于语义的视频检索,成为今天基于内容的视频检索(CBVR)的最大挑战。本文的主要研究内容和贡献如下:(1)对基于语义的视频检索的关键技术——视频语义的提取以及视频语义对象的提取进行了深入的研究,详述了目前已有的方法和算法,并从应用的角度分析了它们各自的优缺点。(2)提出了一种基于视觉注意力的时空联合的自动视频语义对象提取技术。这种方法是将人的视觉注意力引进进来,在时域和空域分别进行了视频语义对象的检测,最后利用动态融合技术进行时空联合,检测出视频语义对象。它对视频语义对象的检测是健壮和准确的,不但能够检测出时域视频运动语义对象,还能够检测出空域视频语义对象。实验验证此方法具有较高的性能和效率。(3)提出了一种多层次网络化视频语义提取模型。这个模型能够与我们上面提取的视频语义对象相适应,利用视频语义对象作为中间层,通过层次间的关联推理出高层视频语义概念,最终跨越低层特征与高层语义概念间的语义鸿沟。