论文部分内容阅读
实例搜索是国际知名计算机视觉比赛TRECVID提出的一个任务:给定一个特定的样例(人、物体、场景等),在视频或者图片数据集中找出包含这个样例的视频片段或者图片。实例搜索是一个实用性很高的研究课题,在动植物识别、物品搜寻以及监控安防等领域都具有重要意义。无论是任务目标,还是实现方法上,实例搜索与传统的基于内容的视觉检索和近似重复检测(near-duplicate search)都有很大的不同。最近,基于视觉内容的实例搜索取得了许多有效的进展。然而还存在很多问题:(1)原有的比较成熟的空间一致性验证方法需要查询与数据库中所有图片一一进行对比,并且查询和图片的所有特征都参与了匹配,时间开销较大。(2)这两年比较流行的深度特征模型并没有很好的利用实例搜索的特性,它们更适合用来处理一般图像检索。在本文中,我们提出了两个模型来解决这两个问题。第一个模型着力于提升空间验证的效率。通过选取简洁的视觉词汇,直接验证空间一致性得出图片与查询实例的相关性。另外,考虑到当下智能手机的流行,为了贴合移动设备的条件与应用场景,我们提出了适合在移动设备上进行的实例搜索算法。我们先挖掘移动设备上与查询相似的图片,得到多重照片集合。然后提出三个准则来选取有代表性的简洁视觉单词。最后,我们用一种简单有效的空间验证方法评判数据集中的图片,返回和实例相关的图片。第二个模型着力于使深度特征与实例搜索的特性相结合,使其更具针对性。我们对每张图片生成候选区域并提取特征,并利用区域特征进行特征精炼和空间验证,得到数据库图片的相似度网络。之后,该模型基于社区划分提取出有效且精炼的核心特征,将核心特征与查询的特征进行匹配,能够提升效率和性能。为了证明所提方法的有效性,我们在Oxford Building数据集上进行了实验。