基于BERT模型的电子病历命名实体识别研究

来源 :南京审计大学 | 被引量 : 0次 | 上传用户:zmstar
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
2010年我国下达关于电子病历试点工作的通知,促使电子病历快速发展,如今电子病历已成为医院信息系统的核心。利用电子病历命名实体识别技术,可高效利用大量电子病历数据,促进医疗信息化加速发展,是后续关系抽取、辅助诊断等任务的基础。电子病历命名实体识别不同于通用领域命名实体识别,且中文电子病历命名实体识别不同于英文电子病历命名实体识别。在中文电子病历中,实体边界较难确定且存在多义词和嵌套实体,使得中文电子病历识别难度增大,所以对于中文电子病历命名实体识别需要深入研究。论文针对电子病历中存在多义词和嵌套实体的现象,基于预训练模型BERT,提出创新模型BERT-SPAN。BERT模型在不同上下文时,通过12层Transformer会输出不同的词向量,可解决一些一词多义的问题。BERT-SPAN模型利用双序列标注实体头尾,使用两个Linear层进行解码,同时将初始序列提取出来的信息加入到结束序列的解码过程中来抽实体,可获取更多文本中语义信息。此外使用爱爱医网站中20份电子病历数据,先进行人工标记,然后用BERT-SPAN模型进行实验,从结果可看出模型获得82.02%的F1值。在BERT-SPAN模型基础上进行优化,提出BERT-BiLSTM-SPAN模型。将此模型与其他研究人员的模型对比,得出BERT-BiLSTM-SPAN模型不需要额外的医学数据就可获得85.15%的F1值。同时使用爱爱医网站中数据对BERT-BiLSTM-SPAN模型进行实验,得出模型获得83.03%的F1值。说明BERT-BiLSTM-SPAN模型具有较高的应用价值,可以为后续电子病历文本分析打下基础。
其他文献
建筑业是我国国民经济的支柱性产业,建筑施工中安全事故频发、安全生产形势严峻,影响社会效益和经济效益。事故致因理论表明不安全行为是安全事故发生的主要原因,因此研究建筑工人不安全行为,对减少建筑业中安全事故的发生具有重要意义。而大量研究表明安全氛围是安全行为的重要影响因素,施工班组是建筑工人安全管理的最小组织,目前建筑业对施工班组安全氛围影响建筑工人不安全行为的研究不多,因此本文基于建筑工人施工班组,
改革开放以来,随着资源开采等人类地下活动频率的剧增,地下工作的深度越来越深。与此同时,也带来了一系列以“三高一扰动”为代表的深部岩体工程问题。即岩体的应力环境呈现出高地应力,高孔隙压力,高地温等特点。另外,工程活动及构造作用将会显著改变岩体围岩环境,应力状态呈现出明显的各向异性(σ1>σ2>σ3),岩体贮存环境呈现出流固耦合状态乃至多场耦合状态。本文基于自主研制的“多功能真三轴流固耦合试验系统”,
目的:探讨柴胡疏肝散调节围绝经期肝郁证大鼠ERK1/2-CREB-BDNF信号通路的作用及机制。方法:采用去势联合慢性不可预知性温和应激(CUMS)建立围绝经期肝郁证大鼠模型,按体质量分层随机分为假手术组(0.9%氯化钠溶液)、围绝组(去势+0.9%氯化钠溶液)、围绝肝郁组(去势+CUMS+0.9%氯化钠溶液)和柴胡疏肝散组(去势+CUMS+柴胡疏肝散),每天1次,连续干预21 d。检测强迫游泳不
垃圾转运站渗滤液属于高浓度有机废水,如若处理不当排入环境中,会对环境造成严重影响。由于转运站渗滤液独特的水质水量特点,目前并没有高效、成熟和经济的处理工艺用于工程实践,传统的生物处理虽然能去除大部分有机物,但对于转运站渗滤液中的腐殖酸、富里酸等难降解有机物去除效果差,导致生化处理出水很难达标排放,需进一步对其深度处理。针对目前渗滤液深度处理技术面临的处理成本昂贵,运行维护复杂,难以实际工程应用等问
行星齿轮传动以其大传动比、高功重比、传动平稳等优点广泛应用于航空航天、风机发电、汽车、船舶、矿山、起重运输等领域。均载是衡量行星齿轮传动系统性能的重要指标,对提高行星轮系使用寿命和可靠性具有重要意义;高机动非惯性系下运行的行星齿轮传动系统随机体一起做空间运动,受到附加效应作用,将对行星齿轮传动的均载特性产生重要影响。本论文以某行星传动系统为研究对象,建立了考虑行星轮系内部非惯性系和机动非惯性系附加
锶渣是天青石采用碳化法制备碳酸锶过程中产生的一种固体废渣,目前锶盐企业采用的主要处理方法是堆存处理,堆存的锶渣会产生含有较多污染物的渗滤液,这严重的威胁到当地的生态环境。另外,锶渣中的锶含量与低品位天青石相当,接近20%,为了避免锶渣中锶资源的浪费,需要对其进行资源化回收利用。避免锶渣对周边生态环境造成污染,实现锶渣的资源化回收利用,一直是锶盐行业想解决却未解决的问题。本论文的研究对象是重庆市大足
超声波由于其具有良好的指向性,能量集中且穿透力强,在工业无损检测、医疗成像诊断、海洋渔业等领域有着广泛的应用。在超声波的检测中,传统的电学超声传感器存在声阻抗大、响应带宽窄、复用性差等问题,不能满足工业发展的需要。与电学超声传感器相比,光纤型超声传感器具有结构紧凑、高灵敏度、抗电磁干扰等诸多优势,已成为超声应用领域的研究重点。目前光纤型超声传感器主要有光纤光栅型和干涉型两大类,光纤光栅型超声传感器
我国地域辽阔,但负荷中心与能源基地呈逆向分布,如何把远离负荷中心的电能大容量、远距离、低损耗的输送到用户端是一个热门研究课题。而高压直流输电技术具有线路造价低、经济性好、传输距离远、损耗小等优点,因此,其在远距离输电中的应用愈发广泛。高压直流输电技术主要包括采用电流源型换流器(Line Current Converter,LCC)的输电技术和采用电压源型换流器(Voltage Source Con
针对餐厨垃圾发酵废水氨氮浓度高、碳氮比低、脱氮碳源不足的问题,研发餐厨垃圾发酵废水AOAA(Anoxic/Oxic/Anoxic/Anoxic)强化脱氮技术。研究构建出基于短程硝化-反硝化的低碳氮比高氨氮废水AOA(生物膜、活性污泥)强化脱氮系统,重点探究了AOA系统污染物沿程降解规律;并利用16S r RNA高通量测序技术,解析了AOA系统的微生物种群结构及优势功能菌属。在此基础上,为进一步强化
近年来,突破光学衍射极限,实现超分辨显微成像已成为光学研究热点。光学超振荡的提出从器件层面上突破衍射极限,为实现非标记远场超分辨成像提供了新的思路。目前非标记远场超分辨成像系统所使用的照明光束多为标量光场,聚焦焦斑压缩与旁瓣抑制存在矛盾,矢量光场如径向偏振光可以比标量光场聚焦更小尺寸的焦斑,对提高显微分辨率具有重要意义。然而矢量光场测量方法缺乏理论证明,并且无法独立快速地测量聚焦光场的三个偏振分量