由于医学数据自身的特殊性,传统计算机视觉任务中表现良好的深度学习算法很难直接有效地应用在医学影像分析领域。自然图像和医学影像在深度学习模型表现效果上的区别,可归结为医学影像数据没有足够的规模,以及现有的深度学习算法设计的潜在物理思想与医学影像数据对应的动态生理系统的失配。在医学影像分析需求日益增加的今天,探究深度学习背景下适配医学小数据集的新方法具有重要意义。以往的相关研究主要集中在扩增数据规模,借助迁移学习和设计更贴合医学影像数据动态生理系统的有效表征等三个方向。本研究受到交叉对比网络的启发,提出了一种全新的结构即孪生交叉对比网络,将三种增强医学小数据集适应性的策略融合进一个端到端的网络中。从结构上看,该网络主要由孪生特征提取器和辅助分类器组成。在度量学习的框架下,基于信息相似度理论而新设计的距离度量,引导孪生特征提取器挖掘具有足够区分度和更贴合医学影像数据潜在动态生理系统的特征,辅助分类器作为孪生结构的下游网络,利用提取到的特征直接输出预测结果。在本研究中,为了单一评估新设计距离度量对提取特征的影响,将辅助分类器的梯度进行截断,在实际应用中,可以依据处理问题的具体情形,选择解放梯度回传。孪生交叉对比网络主要有如下特点:1.从扩增数据角度看,借助度量学习的框架,将数据随机匹配成对,间接扩增了训练可用的有效数据对,同时数据间的比对也蕴含丰富的信息。孪生结构的引入,简化了数据的输入和配对过程,在一定程度上实现随机输入,辅助分类器的引入简化了度量学习的预测过程,直接输出分类结果。2.从设计更贴合医学影像数据动态生理系统的有效表征角度看,基于信息相似度理论的距离度量更关注特征概率次序,降低了对优势特征显著性的需求,更贴合实际生理系统中病灶区域与背景组织对比分辨率不断变化,病灶区域过小,甚至非显著可见等情形,符合医学系统潜在的物理思想,更容易在生理系统间保持稳定。3.从迁移学习角度看,孪生特征提取器的基础模型可以使用任意有效的深度卷积网络,初始化参数通过预训练得到,在实际应用中可以选择训练全部或是冻结部分参数。本研究在一个腹部CT影像中肝细胞癌和肝内胆管细胞癌的分类诊断任务上进行了验证,并提供了详细的结果和可视化分析,在二分类和三分类任务中的最优准确率效果分别为94.2%和90.2%。