乳腺癌作为女性最常见的恶性肿瘤之一,早发现,早治疗对于降低患者的死亡率和提高治愈率以及生存率具有重要的意义,但是目前国内优质医疗资源供给不足,医疗成本高,专业医生培养周期长,工作强度大,容易导致较高的误诊率。针对这样的医疗现状,本文采用深度学习技术作为理论基础,基于卷积神经网络（CNN）分别研究乳腺X线影像描述的文本分类方法和病理图像的图像分类方法,以辅助医生完成乳腺癌的诊断过程,提高医生的工作效率,降低因疲劳等因素导致的误诊率。首先,由乳腺X线检查完成患者的初筛,判断患者是否具有恶性病变的可能;然后,针对具有恶性病变可能的患者实施进一步的医疗检查,如活体检查获取病理组织图像,完成肿瘤良恶性的判断和肿瘤亚型的区分,以达到最终确诊的目的。首先,针对乳腺X线影像描述分类问题,完成方案流程的设计。根据任务需求,收集乳腺X线影像检查报告,建立文本病例集并完成数据集的分析和整理。基于OCR技术进行影像描述文本数据的提取,建立数据清洗规则,去除文本病例数据中的噪音;使用中文分词技术完成数据特征的提取,建立自定义词典,提高分词结果的准确性;使用分布式表示法完成词语和语句的特征表示,通过以上预处理过程将自然语言表示的医疗文本转换成高质量的结构化数据,便于计算机读取和运算。其次,根据文本分类问题的特点,依次完成输入层,卷积层,池化层,全连接层和输出层等模块的设计,基于一维卷积神经网络完成影像描述文本分类模型的搭建,使用训练集完成模型的训练过程,建立准确率评价指标,采用实验验证的方法完成模型结构的选择和超参数的调节过程,有效的提高了模型的分类准确率。然后,针对乳腺病理图像分类问题,获取分析乳腺病理图像公开数据集Brea KHis,并依次进行归一化,尺寸缩放,图像裁剪等图像预处理过程。根据图像分类问题的特点,基于二维卷积神经网络设计一种图像分类模型。基于迁移学习的思想设计2种不同的迁移方法完成病理图像分类模型的训练过程,对良恶性肿瘤判断的2分类任务进行实验验证,通过实验对比得知微调网络权重的迁移方法可以获得更高的分类准确率,同时有效的节约了计算成本并缩短了模型训练的时间。最后,针对原始模型结构中全连接层部分参数过多,计算效率低,以及数据集规模较小,容易导致过拟合现象的问题,分别进行了模型结构的改进和数据增强方法的设计。通过对比实验,验证了改进结构和数据增强方法的有效性,改进后的模型结构包含的参数数量大大减少,显著的提高了运算效率,同时数据集规模的增大,有效的抑制了过拟合现象的不良影响而且使得模型具有了较强的泛化能力。最终,经过实验测试,以上2种方法在2分类和8分类任务中均可以显著的提高模型的分类准确率,同时经过对比近期国内外的研究成果可以得知,本文设计的病理图像分类模型取得了领先的水平。