女性乳腺癌在2020年已经超过肺癌成为全球癌症发病率的第一大病因。在乳腺癌早期阶段正确诊断以及时获得治疗,可以极大的提高病人的存活率。因此,乳腺早期的正确诊断得到了广泛的关注。超声波成像由于其易于使用、体积小、非侵入方法性和低成本等特性,已经成为临床医师在早期筛选中检查乳腺组织良恶性的首选。同时,今年来超声造影使用也逐渐广泛。大多数临床诊断中,都是联合B性超声和超声造影作为主要的诊断方法。因此,本论文从双模态数据出发,构建合适的网络结构,以实现高效、准确的乳腺良恶性分类。首先本文构建了一个双模态超声数据集。本文详细分析了不同数据的本质,然后根据B型超声视频超声造影视频的特点,提出了数据构建方法。特别的对超声造影视频提出了一种基于亮度值的关键帧提取方法。其主要原理是根据超声造影的亮度值作为关键帧的选取度量值,在考虑不同帧之间的时长信息上设计了新的关键帧提取算法。针对B型超声图像,本文提出了一个病理特征自校准融合网络,其中主要是病理特征自校准模块。该模块运用深度学习基于卷积的自学习能力,通过设计合理的机制,能够在训练中使网络自动将不同层级的病理信息与不同卷积层的特征进行匹配,最后使用病理特征对卷积网络学习过程进行引导和抑制,以提高最终的分类精度。其次,本文提出一个提取时序病理特征信息的时序回归网络。超声造影视频相比传统的自然视频其大部分变化都是像素点的增强变化,而不是自然视频中物体的动作位移。针对这个特点,设计了时序回归机制和时序扰乱机制,以此来提高网络对于时序信息的特征提取能力。最后,本文提出一个双分支协同抑制网络,B型超声和超声造影作为同一主体不同模态的展示方式,适合的融合方式能最大程度的理解时空维度信息。因此针对该问题,设计了双线性协同机制,能充分的将空间维度信息与时间维度上的信息相融。保证了空间信息和时间信息的充分使用。