基于深度哈希的移动视觉搜索方法

来源 :武汉大学 | 被引量 : 1次 | 上传用户:chouyez
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
频等视觉数据呈现爆发式的增长。移动随着移动互联网技术的快速发展、移动设备的广泛普及,互联网中的图片、视视觉搜索(Mobile Visual Search,MVS)方法以图像、视频、3D模型、地图等视觉数据作为检索对象,利用移动智能终端设备采集和获取关联信息,能够在海量视觉内容中为用户提供有效的视觉信息检索方法,成为信息检索领域研究中的重要课题。然而,由于移动视觉搜索场景的移动性和泛在化的特点,相关研究存在诸多挑战:移动场景下图像数据极易受到外部环境的干扰,由此产生的图像噪声使得系统难以准确提取到图像中的语义信息内容,降低了移动视觉搜索的效率;此外,移动设备通常受到计算能力、存储空间和网络传输的限制,在这些限制条件下,传统的基于内容的图像搜索方法难以满足用户快速检索的需求。近年来,深度学习方法在计算机视觉领域得到广泛研究和应用,通过神经网络的逐层抽象和迭代,模型能够学习到图像深层语义信息,能够有效解决由于图像底层特征与高层语义之间的差距而产生的“语义鸿沟”问题;哈希方法旨在通过哈希映射将高维数据转换成低维度的表示形式,能够使图像特征序列更为紧凑,并且具备低存储需求、低计算成本、低传输成本的优点。深度学习方法和哈希方法为移动视觉搜索研究中的图像语义特征提取和快速检索问题提供了有效的解决方案。本文结合深度学习模型和哈希方法,针对移动视觉搜索领域研究中的图像深层语义特征提取和快速检索问题进行了深入研究,主要工作和研究成果如下:(1)提出了基于深度哈希的图像语义特征提取模型,利用深度卷积神经网络逐层迭代和抽象的特点使模型具备学习图像深层语义特征的能力,通过在神经网络模型结构层中嵌入哈希层的方法将深度学习和哈希算法有机结合,使模型学习到更为紧凑的图像语义特征表示,满足移动视觉搜索领域的图像语义特征提取和快速检索的要求。(2)提出了适用于移动视觉搜索场景的、用于模型训练的损失函数,考虑到移动视觉搜索的语义排序问题和模型过拟合问题,在softmax分类损失的基础上加入搜索排序损失项和L2正则项,使用该损失函数对基于深度哈希的图像语义特征提取模型进行模型训练,能够有效增强模型的学习能力和泛化性能;(3)构建了基于深度哈希的移动视觉搜索流程,使用本文提出的基于深度哈希的图像语义特征提取模型作为图像特征提取器,利用提取到的图像特征哈希序列与数据库中的图像样本索引进行匹配,通过欧式距离计算样本间的相似程度,根据计算的距离大小进行语义排序并返回Top k个搜索结果。(4)基于开源的深度学习框架MatConvNet搭建实验环境,在开源数据集PASCALVOC 2012上进行实验,实现了本文提出的基于深度哈希的图像语义特征提取模型和移动视觉搜索流程,并通过mAP、P@k=5、P@k=10、R@k=5、R@k=10以及图像特征维度大小对移动视觉搜索流程的准确性、全面性和检索效率进行全面评估;并且针对模型中的模型学习率、批量样本数的取值对模型的影响进行了对比实验,实验数据验证了本文提出的基于深度哈希的移动视觉搜索方法的有效性。
其他文献
随着社会经济的不断发展、科学技术水平的不断提升,互联网上的数字视频正不受限制地增长并且逐渐成长为一种新型的力量。这些视频大多数存储在非结构化的存储库中,因而对图像
纸介考试,作为课程评价过程的一个重要环节,是对课程和教学质量进行反映和评估的重要手段。现行的纸介考试多数根据外在的客观标准进行评价,在评价的过程中往往是外在的标准
人体行为识别是计算机视觉研究的一个重要课题,有着巨大的研究价值和广阔的应用前景。目前,它的应用主要集中在智能安防、病患监护、人机交互等领域。传统的人体行为识别研究
数字时代的到来和信息技术的发展,使得数字图像凭借它快捷、廉价的优点,在成像效果与成本间获得良好折中,逐渐取代了以往的胶片图像。为了满足不同需求,方便处理图像,各种图
随着物联网、云计算、大数据的发展和应用,全球数据量正在以前所未有的速度呈现出爆炸式的增长。为了满足数据业务飞速发展对海量存储数据的需求,存储系统应用多级闪存(MLC)
传统互联网模式中,企业所需求的计算和存储资源需要提前进行预估。不同企业业务规模大小不同,对资源需求量也存在较大差别。同时,企业都会储备一定额外的资源,用于高峰期可能
黄曲霉毒素B1(Aflatoxin B1,AFB1)是目前危害最大的霉菌毒素,经细胞色素P450(cytochrome P450,CYP450)酶代谢活化后生成强毒性代谢物AFB1-8,9-环氧化物(AFBO),后者能共价结合DNA、蛋白质等生物大分子,造成DNA损伤、基因突变、细胞代谢障碍等,甚至细胞死亡。肝脏是产生CYP450酶的最主要器官,因此成为AFB1的靶器官。AFB1不仅威胁人类健康和
计算机的诞生为人类开启了智能时代的大门,伴随着计算机技术的飞速发展,越来越多的技术成果被广泛应用于人类的日常生活与工作中,并将不断地服务于人类、造福于人类。在计算
互联网技术的飞速发展为数据的产生、修改与共享带来极大便利,但同时数据质量变得难以保证。数据起源作为记录数据从产生到消亡的整个演变过程的一种元数据,可用于分析数据质
近年来,由于分解型多目标进化算法在多目标优化问题的求解方面有着比较优秀的表现,越来越多的学者投入到了分解型多目标进化算法的研究中,并提出了大量的优秀算法来对多目标