研究背景乳腺癌是全球最常见癌症之一。据2021年全球癌症负担报告显示,乳腺癌的发病率逐年上升,已成为癌症之首,严重危害广大女性的生命健康。因此,早期精准诊疗乳腺癌尤为重要。早期筛查和诊断是降低乳腺癌死亡率的重要方法。目前,临床诊断乳腺癌的方法主要包括:触诊、数字化乳腺X线摄影检查、核磁共振成像、超声成像等,它们各有优缺点,但超声成像作为一种实时、无创、无辐射、性价比高、可重复的方法,不受乳腺腺体组织类型的限制,尤其适用于亚洲女性的致密型乳腺肿瘤,因而已广泛地应用于乳腺疾病的筛查。因此,进一步挖掘超声图像所携带的信息,对于提高乳腺癌的早期检出率和诊断准确性具有重要的意义。近年来,人工智能（artificial intelligence,AI）技术飞速发展,逐步在各个领域影响着人们的生活。AI可为临床医生在诊断过程中提供辅助信息,其准确性逐步提高,并可对一些重要治疗决策提供个体化的分析。通过算法能够从医学图像中提取大量肉眼无法观察的诊断信息,提高病变的计算机检出率。但超声成像参数差异大和信噪比低的缺点,影响了超声数据的AI研究深入。当前基于乳腺超声影像的AI研究主要集中于目标检测、良恶性分类及转移预测。已发表的基于乳腺超声数据的AI研究文献中存在如下问题:（1）各研究中的图像输入尺寸单一;（2）AI模型选取随意性较大,未比较轻量级神经网络模型和密集型神经网络模型的差异;（3）未分析AI模型在不同图像输入尺寸状态下的差异;（4）缺乏与医师诊断结果的对比。因此,本研究第一部分提出科学假设:（1）经过AI训练的超声图像能够筛选出适用于乳腺肿瘤诊断的最佳模型和最佳尺寸,（2）利用最佳模型和最佳尺寸,AI的诊断乳腺肿瘤的准确性能够超过高年资医师诊断乳腺癌的准确性。基于乳腺超声图像诊断在很大程度上取决于超声医生的诊断经验。由于我国乳腺癌患者数量多,经验丰富的超声医生严重不足且工作量巨大,较易出现漏诊和误诊。因此,计算机辅助诊断（computer-aided diagnostic,CAD）在乳腺肿瘤诊断中具有巨大的应用前景。目前超声成像乳腺肿瘤的研究多基于静态图像,需要医生选择出对疾病有诊断意义的图像（即责任帧）,AI模型分析时采用这些医生选择帧而非视频所有帧,这意味着可用于AI分析的数据已被超声医生所过滤,从而可能降低AI的诊断效能。首先,视频是一系列图像的集合,不仅包含全部连续静态图像信息,也包含时间信息,而医生选择图像会忽视这些信息,从而影响AI模型的诊断效能;其次,不同级别医生对同一疾病的认识程度不同,在存储图像时会有差异,可能会遗漏重要信息。因此,若AI模型能学习连续的视频影像,并从中自动选取责任帧,有可能提高诊断效能。因此,我们提出特征熵（feature entropy,FE）代表不同特征维度的信息熵,最终可形成特征熵矩阵。可以通过特征熵减少的方式,在不增加额外训练参数的前提下,实现自视频中抽取责任帧用于判断的功能,且能够贡献特征不重复的多张责任帧。综上所述,在临床医生进行乳腺肿瘤超声诊断时,诊断结果是依据在动态扫查中认为捕捉的静态停帧所得出的,这些停帧是否代表了乳腺肿瘤患者的最佳诊断图像并不明了。利用AI技术自动捕捉的超声图像停帧是否优于高年资医生所捕捉的停帧并未可知。利用AI技术捕捉停帧的诊断水平是否因此高于高年资超声和X线摄影医师的水平尚未研究。鉴于这些科学问题,本研究第二部分提出如下假设:（1）在动态视频中AI模型自动抓取责任帧的能力不亚于高年资医师的选帧能力;（2）AI模型由自动抓取的动态视频责任帧所做出的乳腺肿瘤诊断准确性高于高年资超声和X线医师的诊断水平。第一部分应用静态超声影像智能化技术诊断乳腺肿瘤的方法学研究研究目的1.在多种AI模型和超声图像分辨率的组合对比中,以病理诊断为金标准,筛选出乳腺肿瘤诊断效能最佳的模型和分辨率组合。2.探讨最佳AI模型和超声图像分辨率组合的诊断效能在全部测试集和较难诊断的乳腺癌患者中,能否超过高年资超声和X线医师水平。3.研究超声图像分辨率对AI模型训练和测试耗时的影响。研究方法1.AI模型训练、验证及测试（1）模型选取:采用轻量级神经网络模型（Xception和MobileNet）和密集型神经网络模型（DenseNet121 和 ResNet50）。（2）图像输入:采用224×224、320×320和448×448 pixels三种代表像素。（3）模型训练集纳入2778例（恶性774例）和验证集800例（恶性217例）乳腺肿瘤超声图像。为确保不出现交叉,同一名病人的所有图像只能出现在同一集合中。2.独立测试集:纳入1410例（恶性579例）乳腺肿瘤超声图像。（1）AI模型间诊断效能评估:通过独立测试集筛选出最佳模型和最佳图像组合,比较结果是否与验证集结果吻合。（2）最佳AI模型与临床诊断效能评估:首先与高年资超声医师诊断效能的对比;其次与高年资X线医师诊断效能的对比。（3）最佳AI模型与高年资超声和X线医师在排除BI-RADS4c和5类肿瘤的测试集中诊断效能的对比:（4）全部病理中删除BI-RADS 4c和5类患者后重新进行对比:首先与高年资超声诊断医师的超声诊断效能的对比;其次高年资X线医师的诊断效能的对比。研究结果1.本研究所纳入患者年龄和肿瘤大小比较差异无统计学意义。2.通过验证集初步筛选和独立测试集进一步证实,MobileNet224为最佳模型和最佳图像组合。3.最佳AI模型诊断的AUC均优于高年资超声医师和X线医师诊断。4.排除BIRADS 4c和5类后测试集MobileNet224均优于高年资超声医师和高年资DM医师诊断结果。依据模型诊断降低了后两者的假阳性。5.高分辨率图像使得模型的预测分析耗时增加。研究结论1.在多种AI模型和图像分辨率对比研究中,以病理诊断为标准,MobileNet在224×224pixels的分辨率下具有最佳的乳腺癌诊断性能。2.MobileNet224模型的诊断效能在全部测试集和较疑难诊断的乳腺癌患者中,能够超过高年资超声和X线医师的诊断水平。3.MobileNet224模型在224×224 pixels分辨率时可降低高年资超声和X线医师诊断乳腺癌的假阳性,避免不必要的活检和损伤。4.超声图像分辨率升高增加AI模型训练和测试耗时,临床应用AI时应选择合适图像分辨率。第二部分应用动态超声影像智能化技术诊断乳腺肿瘤的方法学研究研究目的1.探讨利用特征熵减捕捉视频数据的互补责任帧的方法。2.构建基于特征熵减的动态视频责任帧捕捉智能模型（feature entropy breast network,FEBrNet）,能自主提取视频责任帧用于乳腺肿瘤的诊断。3.探讨FEBrNet模型的诊断水平是否优于依据医生责任帧、间隔法选帧和视频所有帧,以及高年资超声和X线医师的诊断水平。研究方法1.FEBrNet模型构建:继承第一部分预训练的最佳组合MobileNet224的主干网和全连接层权重。特征提取器处理每帧图像并生成对应特征矩阵,并获得特征熵矩阵（feature entropy matrix,FEM）,表示输入帧恶性可能性的特征。通过熵减法结合贪婪算法选择信息互补责任帧。结合预测可信度,用信息熵方法设置取帧自动停止条件。2.FEBrNet模型训练及测试:训练集数据为387例（恶性174例）乳腺肿瘤视频数据。测试方案分为训练集三折交叉验证和独立测试集测试,分别测试责任帧模型和传统方法模型及医生诊断的差异。为确保不出现交叉,同一名病人的所有图像只能出现在同一集合中。比较FEBrNet责任帧模型与医生选择帧、5帧间隔法选择帧和视频所有帧的诊断效能。3.独立测试集:纳入数据为587例（恶性238例）乳腺肿瘤视频数据。以病理诊断为金标准对模型进行独立测试。（1）AI模型间诊断效能评估:FEBrNet责任帧模型与医生选择帧、5帧间隔法选择帧、视频所有帧的诊断效能评估,比较结果是否与训练集三折交叉验证结果是否吻合。（2）FEBrNet责任帧模型与临床诊断效能评估:首先与高年资超声医师诊断效能的对比;其次与高年资X线医师诊断效能的对比。研究结果1.训练集做三折交叉验证显示:AI模型责任帧法的AUC高于医生选帧法、固定间隔选帧法、视频所有帧的诊断。2.独立测试集中FEBrNet模型责任帧法的AUC高于固定间隔选帧法、视频所有帧、高年资超声医生和X线摄影医生诊断。3.AI模型责任帧法的AUC略高于模型依医生所选帧得出的AUC,说明AI模型的选帧水平能够达到高年资专家的选帧水平。4.FEBrNet模型责任帧法诊断的AUC优于高年资超声和X线医师的诊断。研究结论1.使用特征熵减方法可捕捉视频数据的互补责任帧,并用于人工智能模型构建。2.FEBrNet模型自主提取视频责任帧用于乳腺肿瘤的诊断,效能优于依据医生责任帧、间隔法选帧和视频所有帧的诊断水平,以及高年资超声和X线医师的诊断水平。3.互补责任帧构建模型对于乳腺肿瘤的诊断效能高于临床工作中存储的静态图像。