当代社会互联网上图片的数据量急剧增长,而用户的检索需求越来越高,传统基于文本的图片检索技术因其描述词汇受限,很难在满足大数据背景下的图片检索。如何快速,准确的从众多图片中找到目标图片或者相似图片,成为了研究的热点。基于图像内容的检索技术在该背景下受到研究者们的关注,该技术使用图片自身的特征去匹配目标图片,检索结果具有非常高的准确性,百度和谷歌公司已经相继推出的以图搜图的服务,用户体验十分好。基于图片内容的检索技术包含了许多图像处理的技术,其中特征提取技术最为关键。特征提取是基于内容的图像检索技术中的关键步骤,因为后续其他的图像处理步骤是在此基础上进行的。在众多的特征提取算法中,SIFT算法最为著名,该算法提取的特征点与图像的旋转,大小无关,对于噪声,光线的容忍度也相当高,是一个划时代的特征提取算法。但是该算法的时间复杂度为指数级别,难以满足对处理时间要求特别高的的应用场景。因此后续有众多研究者对该算法进行优化研究,主要分为算法本身优化和通过硬件加速两方面。改进算法分别有SURF、ORB以及MSERS等。在硬件加速方式下,在GPU和FPGA下均有SIFT算法的实现。本文的工作和硬件加速是同一类型的研究工作,不同的地方在于本文是基于大数据处理框架Spark进行加速的,研究的是大数据背景下的特征提取加速。在众多大数据处理框架中,spark是一个内存计算类型的数据处理框架,在处理速度上有明显的优势。在此之前,暂时还没有研究者在Spark上进行大规模图像库特征提取工作的研究,于是本文基于Spark处理框架和SIFT算法,在上面开展大规模图像库特征提取的研究工作。在本文中,我们设计了一个基于spark的大规模图像特征提取系统SparkSIFT。该系统框架主要包含三部分:1)Spark图像基础库Spark-imageLib模块;2)Spark-sift特征提取功能模块;3)图片的序列化模块。之后本文又针对SparkSIFT系统提出了三种优化方案。第一,因为图片的体积相对Spark来说普遍较小,而Spark在加载众多小文件时读写效率很低,针对这一现象,本文提出了Key-Vaule的图片描述方式,将图片转化成记录的形式,再将记录合并保存以提高Spark的加载效率。第二,Spark在进行任务划分时仅考虑任务的总体积,而忽略任务中图片尺度大小,这一任务划分机制导致Spark-SIFT在处理图片大小相差较大的数据集时出现的负载不均衡问题,针对这一问题,本文提出了分割式特征提取算法,该算法核心思想是分而治之,先将大图片分割成小子块,并行处理,之后再统一收集,通过这种方式避免因为处理图片的尺度大小而导致负载不均衡现象。第三,本文针对分割式算法中引入的Shuffle操作,进一步提出了Shuffle-Efficient分割式提取算法,通过高效的分区策略减少跨分区收集同一张图片子块的网络开销。实验结果表明,本文提出并且设计的Spark-SIFT大规模图像特征提取框架取得了较好的加速效果。使用7台机器,处理4G图片集合,相对于单机提取,加速比达到了19.5,优于GPU的加速比。Key-Value的图片描述方式在加载11G图片数据集时,加载性能相对binaryFile方式提升了61.7%,相对于objectFile方式提升了83.3%;分割式提取算法较不分割提取算法在处理480M图片集合将提取速度进一步提高了7.8倍;Shuffle-Efficient分割式特征提取算法有效的减少在收集图片子块时的网络传输开销,在处理6.8G图片数据集时,高效的分区策略相对于Hash分区策略,收集的性能提高了29.7%。