随着互联网的飞速发展,互联网内容由最初的文本信息为主逐渐向各类富媒体数据发展,其中最主要的就是图像,但随着图像数据量的飞速增长,用户想要检索出所需要的图像就变得尤为困难,细粒度检索必然是未来图像检索的趋势,另外图片的多样性发展也让跨域图片检索在很多场景中具有应用,比如通过航拍图检索街景图,通过夜景图检索白天图等等。本文聚焦于手绘草图到图片的跨域细粒度检索。所以这里面需要解决的核心问题就是三点:首先是跨域检索,草图和图片在特征上具有明显的差异性,草图的特征和图片的特征属于不同的特征空间,本文需要解决的就是将不同的域的图像映射到相同的特征空间中;其次,要实现细粒度检索,即对于同一类的图片的微小的差异,检索系统具有非常敏感的识别效果;最后就是草图检索的效率问题,数据量的大规模发展让图像检索面临着存储空间和计算速度等问题。本文针对以上问题进行逐步的研究,通过研究相关论文和进行大量的实验,我们设计和构建了一种异构网络,具有两个结构不同的网络分支,分别适应草图和真实图片两个域的特征提取。由于目前不存在足以单独训练整个深度网络模型的数据集,所以我们采取了分步训练的方式,在训练集上,我们从粗粒度到细粒度上逐步训练,使用对比损失和三元组排名损失逐渐约束两个域的特征相似度,最终在细粒度检索上取得很好的效果,实现端到端的图片检索。提取了草图与图片的跨域特征表示之后,我们继续研究大规模数据下的草图检索效率问题,在已有的异构网络模型的基础下,我们设计了基于异构网络的深度哈希模型,在异构网络的最后一层设计哈希映射层,并对离散的二值哈希码进行跨域映射,为解决二值哈希码相似性约束的不可导性,我们研究了大量论文和方法,最终通过松弛的方式完成了损失函数的可导性。最终,我们在检索准确度,检索效率上都实现了比较大的提升效果。