随着网络技术在医学领域中的迅速发展以及医疗信息存储标准的逐渐完善,医疗数据呈爆炸式增长。此外由于医疗数据自身的特点而呈现出多模态形式,不同模态往往同时出现、互为补充。面对大规模不同模态的医疗数据,如何建立它们之间的关联,充分利用不同模态数据的语义信息,实现不同模态信息间的相互检索,对于医学领域具有重要的应用价值。对于我国发病率最高的癌症——肺癌,通过对胸部CT图像中肺结节的筛查是目前检查早期肺癌的主要方式。放射科医生从胸部CT图像中得出检查结论,作为患者的肺结节诊断报告。由于胸部CT图像数量巨大,肺结节在肺内的位置分布以及尺寸均不固定,对肺结节的诊断更注重细粒度信息,这给放射科医生带来了繁重的工作量。本文针对以上问题,提出一个面向胸部CT图像与文本的跨模态检索方法。所提出的跨模态检索方法,可以充分发掘两种模态数据之间的高层语义信息,通过已标注出的肺结节,检索出对应的诊断信息,或者通过文本形式的肺结节描述信息,检索出相应肺结节的CT图像。本文将胸部CT图像与诊断文本的跨模态检索方法分为两个步骤进行介绍,第一步是CT图像与文本的特征提取;第二步是两种模态间的语义关联。通过对这两个步骤的研究,最终实现CT图像与文本间的跨模态检索。其中本文主要对胸部CT图像中肺结节细粒度特征提取方法和CT图像与文本的语义关联方法进行研究,文本的特征提取则根据数据的特点,采用现有的较为成熟的方法进行处理。针对第一步,由于肺结节在胸部CT图像中的位置及尺寸均无规律可循,针对该问题,本文在数据预处理时根据已标注好的肺结节位置进行相应尺寸的切割,目的是减少肺内其他器官对肺结节特征提取造成的影响,以便更准确的提取肺结节高层语义信息。肺结节通常以三维立体形式存在,传统的肺结节特征提取方法往往是基于单层肺结节切片进行的,尽管肺结节切片间隔在毫米量级,但是对于长径通常不超过30mm的肺结节而言,相邻切片在细粒度上依然存在一定差异。因此针对该问题,本文在提取肺结节特征信息时采用多层面二阶融合的特征提取方法,该方法在单层细粒度的肺结节基础上,提取出三维肺结节更完整的特征信息。该方法在肺结节恶性程度的三个级别评估的AUC值达到了0.92,0.7,0.87,证明了其有效性。针对第二步,跨模态检索方法在解决异构数据的语义关联问题上,通常是将不同模态数据的特征映射到一个公共空间中,通过对公共空间中的两种模态信息进行约束,达到缩小语义鸿沟的目的。本文采用这一思想,将前一步提取到的肺结节图像特征信息与对应文本的特征信息映射到汉明空间中,并通过基于数据样本类别标注的相似度矩阵,对得到的哈希编码进行约束,实现两种模态数据的相互关联。通过在LIDC数据集上进行实验,实验结果中对文本和图像检索的MAP分别达到了73.26%和72.39%,表明上述有监督的异构数据间语义关联方法的有效性和胸部CT图像与诊断文本的跨模态检索系统的可实现性。