超声检查(Ultrasound,US)和乳腺钼靶X线摄影(Mammography)检查是乳腺癌早期诊断和筛查最常用、常规的技术手段。在超声检查中B型超声和剪切波弹性成像(Shear-wave Elastography,SWE)在乳腺癌诊断方面相辅相成,为乳腺肿块良恶性诊断提供帮助。在乳腺癌发展过程中乳腺密度(breast density)分级变化是一个重要特征,正确确定分级有助于预测乳腺癌的发展。本文即利用深度影像组学的方法,结合多模态数据(包括B型超声、剪切波弹性成像和乳腺钼靶X线摄影)来用于乳腺癌早期诊断和筛查。患者在做剪切波弹性成像会有同时采集B型超声影像,首先借助目标检测算法在B型超声图像中检测出乳腺肿块,根据B型超声和弹性超声图像对应关系,我们得到了基于弹性超声图像中乳腺肿块以及周围组织的感兴趣区域。不同于肿块分割方法,我们方法包含了乳腺肿块以及肿块周围组织,肿块周围组织为肿块良恶性诊断提供了更加丰富的信息和特征。然后利用弹性超声图像肿块感兴趣区域,利用深度卷积网络(Deep convolutional neural networks,DCNN)提取高通量(high-throughput)特征加上分类器用于良恶性分类。我们的算法对乳腺肿块良恶性诊断准确率达到了95.8%,灵敏度96.2%,特异度95.7%,相比于其他算法有了很大的提升,有效的诊断了乳腺肿块的良恶性。基于钼靶X线摄影的乳腺密度分级是乳腺癌早期筛查中一个重要指标,乳腺密度不同分级直接影响罹患乳腺癌的几率,因此正确确定乳腺密度分级对于乳腺癌早期筛查有重要意义,本文利用深度卷积神经网络从影像中提取高通量、高等级和高抽象的特征用于乳腺密度分级。最后对于乳腺密度分四级的任务准确率达到了92.6%,值得注意的是对于简化的分二级的任务中,我们方法对于其中一个级别准确率达到了100.0%。综上所述,本文主要内容可以分为三个部分:第一部分是基于B型超声图像的乳腺肿块检测;第二部分是基于弹性超声图像乳腺肿块良恶性诊断;第三部分是基于乳腺钼靶X线影像的乳腺密度分级。这三个部分结合用于乳腺癌早期诊断和筛查。