基于BERT嵌入和残差连接的中文电子病历命名实体识别研究

来源 :浙江工商大学 | 被引量 : 4次 | 上传用户:liongliong540
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着IT技术和医疗信息化的不断发展,电子病历(Electronic Medical Records,EMR)逐渐取代了纸质病历而被应用于众多医院,成为医院信息系统的核心。在医院的现代化管理当中,电子病历不仅起到了高效便利的作用,而且也是科研以及医疗的第一手资料。但是由于电子病历医疗数据规模庞大以及复杂,导致医疗文本内的有效信息并没有得到充分的挖掘。于是,作为自然语言处理技术之一的命名实体识别(Named Entity Recognition,NER)被引入其中。命名实体识别已被广泛的应用于信息抽取、智能问答、句法分析、机器翻译等领域。它成为了各领域人员关注的重点。虽然命名实体识别已经发展了很长一段时间,但是其识别的效果在部分领域仍然没有满足需求。其表现为,传统的命名实体识别方法太依赖于人工特征,需要较高人力和时间成本。有鉴于此,本文引入时下流行的深度学习序列标注模型——BiLSTM-CRF模型来作为基准模型,并基于此模型来进行改进,以便更好的应用在中文电子病历命名实体识别当中。本文研究内容主要围绕以下三个方面:(1)针对国内对于公开的中文电子病历数据严重缺乏和高质量中文电子病历标注数据稀少的情况,使目前常规的算法模型无法拥有很好的识别效果,以及传统的词向量表示为将字映射为单一向量而无法表征字的多义性所带来的问题。引入以BERT(Bidirectional Encoder Representations from Transformers)预训练语言模型为基础,结合BiLSTM-CRF基准模型,提出了一种基于BERT-BiLSTM-CRF的中文电子病历命名实体识别模型,将海量无标注数据中的特征补充到网络中。通过对比实验证明该模型能够有效增强字的语义表示以及在小规模标注语料的情况下取得较好的识别效果。(2)结合预训练和迭代扩张卷积,提出了一种基于BBIC的中文电子病历命名实体识别模型。使得算法模型能够对BERT传过来的向量不仅仅聚焦全局特征也能够兼顾局部特征,并且对于扩张卷积来说,dilated width会随着层数的增加呈指数增长,参数数量是线性增加,而感受野却是指数增加的,如此可以快速覆盖到所有的输入数据。实验表明,在基于小规模标注语料的情况下结合预训练使得改进的模型能够更准确的获取文本特征信息并且识别效果上有了进一步的提升。(3)将残差连接引入BBIC模型,解决为增加表征能力而给网络模型在堆叠多层时出现的神经网络退化问题,进一步的去优化整个模型给中文电子病历的识别效果带来提升。实验结果表明,所提出的模型能够带来更好的中文电子病历命名实体识别效果。
其他文献
为解决实时可变码率(VBR)视频在传输中难以准确预测流量的问题,提出一种变带宽核密度估计算法。该算法以核密度估计算法为基础,针对VBR视频的场景切换特性动态改变各样本点的带宽,加快算法收敛速度。仿真结果表明,与变步长归一化最小均方法相比,该算法能够减少10%左右的预测误差,保证流量预测具有较高的预测精度。
涉密矢量数字地图中的敏感信息一旦泄露出去会给国家带来难以估量的损失。本文从涉密地理对象与军事用途的关联度、使用的状态、分类等级三个方面确定涉密地理对象敏感性高低
在水电站斜井施工中,受地质条件、设计布置影响较大,安全风险十分突出。介绍了赛珠水电站长斜井施工中根据各方面条件认真分析,制订了适宜的施工方案并取得成功的经验。
在各种犯罪活动中文档伪造是一种常见的伪装手段,由于其易于实施而难于分辨,文档伪造的检测技术显得更加重要而迫切,通过对文档中笔迹改动的检测辨别文档真伪是其中重要的手
随着社会对计算机图形学的深入研究,对3D模型处理技术的需求不断增加,利用现有模型对3D模型进行编辑,即3D模型的重用已然成为计算机图形学领域的研究重点。同时,计算机硬件正变得愈加成熟,3D扫描技术被广泛应用于各类研究领域中,由此产生了许多3D模型。但在设计方面,快速建模工具的发展却相对滞后,对于模型重用算法的研究相对较少,而对于模型造型的复杂需求,传统建模技术很难发挥其优势。本文针对三维网格模型拼
随着液晶显示器、智能手机、平板电脑日益普及,显示产品逐步向轻薄化方向发展,与之配套的电子玻璃也需轻薄化,因此衍生发展出一种超薄玻璃品种。超薄玻璃随着厚度的变薄,呈现出柔韧性力学特征,使其在柔性显示、柔性电池等方面具有潜在的应用价值。传统玻璃材料力学测试方法(如三点和四点弯曲法、双环法等)是建立于玻璃脆性材料的小挠度变形基础上,而这些方法已经不适合超薄玻璃的力学性能表征,尤其超薄玻璃柔韧测量表征方法
【摘 要】高校党建和大学生思想政治教育工作历来是高校工作的核心和关键内容,但近年来,许多高校在推动自身发展过程中,往往割裂二者的关系。本文探讨了二者的联系、互相促进作用,并研究了高校党建工作与思想政治教育工作融合存在的问题,分析原因,提出高校+思想政治教育融合的有效途径和机制。  【关键词】高校党建;思想政治教育;融合机制  【中图分类号】G641 【文献标识码】A  【文章编号】2095-308
常熟市虞山风景区是江南地区的一座城市山岳型风景区,它的发展自古就与常熟市紧密相关。近些年,常熟市的发展使得它对周边地区的影响力逐年提高,虞山风景区的知名度也随之扩大。但是虞山风景区在面对日益变化的社会环境时,它的建设与常熟市逐渐脱节,自身存在的问题日益凸显。这就要求虞山风景区重新进行定位,从自身的历史文化内涵出发,做出相应的设计调整。本文首先对城市山岳型风景区及其理论进行研究,同时分析长沙岳麓山风
杜松是新疆地区(干旱寒冷地区)理想的园林绿化树种。介绍了其形态特征与生态习性,并从苗木繁育与栽培管理两方面对其栽培技术进行了介绍,以期为杜松育苗栽培提供参考。