基于近邻图的高维空间近似最近邻查询研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yshanhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,大规模搜索的搜索效率问题成为一个研究重点。最近,研究人员开始关注一种基于近邻图(Nearest Neighbor Graph)的近似最近邻查询方法(Approximate Nearest Neighbor),其优势在于面对海量高维数据时查询效率高,查询结果准确,近邻召回率高。本文系统研究了基于近邻图的近似最近邻查询算法,如GNNS、kGraph算法等。该类算法在预处理阶段构建一个近邻图,在查询阶段,应用贪心算法的思想以近邻图为索引结构进行查询。贪心算法从一个随机的数据对象开始,不断地载入当前最优近邻在近邻图上的邻居,若该邻居比当前最优近邻更接近查询对象,则令该邻居为新的最优近邻,本质是一个通过不断获得局部最优,逼近全局最优的过程。但由于贪心算法的固有缺陷,随着迭代次数增加,算法陷入局部最优的概率也大幅上升,会降低ANN查询的精度和效率。针对贪心算法在近邻图上易陷入局部最优的缺陷,本文使用一种解决思路:在查询阶段,为贪心算法提供一个更优的起始点。优质的起始点可以将贪心选择定位在近邻图中靠近查询对象的区域,此时仅需要很少的迭代次数就可以访问到真实近邻,降低了发生局部最优的概率,提升了最近邻查询的精度和效率。本文提出一种新的基于近邻图的近似最近邻查询方法NSH-NNG,将邻域敏感哈希(Neighbor-Sensitive Hashing)技术和基于近邻图的ANN查询结合到一起。邻域敏感哈希是一种哈希学习的方法,其生成的哈希函数考虑了数据集分布特性,且对距离查询对象近的数据对象更有区分度,故能在快速ANN查询的同时保持高精度。在预处理阶段,该方法同时构建一个NSH哈希索引和一个近邻图;在查询阶段,该方法将查询对象映射为NSH哈希编码,先通过多索引哈希快速确定一个与查询对象相似的候选集,再以该候选集为起始点集在近邻图上进行ANN查询。本方法减少了基于近邻图的ANN查询算法陷入局部最优的概率,能以较高的精度实现快速近似最近邻查询。此外,本方法在提高查询性能的同时,还提出了一种基于数据敏感哈希(DataSensitive Hashing)的快速近邻图构建方法。数据敏感哈希通过机器学习,能将数据库中相似的数据对象均匀地分散到哈希桶中。根据该特性,采用分而治之法,先通过DSH算法将整个数据集均匀地分成多个较小的子集,在每个子集中使用线性查询法生成子近邻图,再将子图合并成近邻图,最后使用近邻下降算法对该近邻图进行优化。本文在两个真实高维数据集下,实验验证了NSH-NNG方法相对于几种流行算法在查询效率上有二至三倍的提升。同时,证明了基于数据敏感哈希的快速近邻图构建方法的效率不亚于几种流行的近邻图构建算法。
其他文献
浙江新高考改革中,化学作为7选3科目之一脱离了大理科的“绑定”,单独作为高考选考科目,高中化学课堂教学模式的改革势在必行。一方面针对新高考的变动,另一方面针对高中生化
论文以塔城勒巴舞为主要研宄对象,基于较为翔实的田野考察资料和文化特质分析,研宄在纳藏毗连地域,以藏语形式流传于纳西族的、藏传佛教特征明显的塔城勒巴舞的场域、仪式、
微信校园导览"利用微信小程序服务"无需安装、触手可及、用完即走"等特点,用户可以通过微信端快捷获取应用,让用户迅速了解学校和更为精确导航校园。本系统采用MINA框架和第
谷氨酰胺转胺酶(TGase)能够催化蛋白质分子内和分子间酰胺基转移反应,使蛋白质发生交联,改变蛋白质的性质,从而在食品、医药、纺织等行业有极大的应用空间。目前商业化的谷氨
利用卧式工业洗衣机,对纯棉半成品制衣进行接枝处理,而后涂料染色,可获得优于传统制衣水洗甩色服饰的表面效果,并且赋于牛仔服的风格。成衣染色具有投资少、见效快、操作方便
医疗纠纷"第三方调解"弥补了传统医疗纠纷解决方式的缺陷,是当前化解医疗纠纷的重要途径。南昌地区医疗纠纷"第三方调解"模式自2012年12月26日开始实施,通过创新管理机制、创
重大件运输双体船因甲板较宽,稳性与操纵性良好的特点突出而具有较好的应用前景。在运营中,它可以有效减少单位运输费用,减少中转运输环节,创造较高的经济效益。由于船体结构
随着我国经济水平的快速提高,城市化进程和各种产业发展日益增快,对环境的破坏也日益加重。大气质量作为可持续发展的重要组成部分也越来越受到人们的关注。大气中的污染物浓
本文以某轨道车辆窗下补强板为研究对象,利用Autoform软件完成了对其的冲压成形数值模拟分析,对易发生的起皱和拉裂缺陷进行了重点研究,提出了相应的控制措施;并在这些控制措
劈裂注浆是一种通过施加压力将浆液注入土体中以改善其工程性质的施工技术。劈裂注浆在提高承载力、降低渗透性、补偿隧道施工引起的地表沉降等方面都已应用并取得好的效果。