文本实体识别算法研究及其在特定领域的应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:fxlilac
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
所谓文本命名体识别,也可简称实体识别,就是从一段文章或者一句话中,识别实体的边界并对实体进行分类的一个任务,属于自然语言处理的基础任务之一,它的效果可直接影响下游任务的表现,例如关系抽取,智能问答等,所以虽然基础,但是重要。普通的命名体识别任务是运用公开的大型语料数据集如维基百科、人民日报等进行人名、地名等常见的预定义实体类别的识别。同时这个任务也被应用于各个特定领域的具体场景,比如军事领域的武器装备命名体识别,医疗领域的电子病历实体识别等,上述此类可以称之为特定领域的命名体识别任务。因为特定领域的实体识别经常出现专业术语而导致实体的边界难以准确识别从而发生实体识别错误,或者出现较多实体嵌套和实体组合的情况由于语料较少训练不充分导致分类错误等。本文以医疗领域的电子病历为例,面对特定领域的数据特点和困难,构建了两个模型来解决特定领域的命名体识别问题,并且以具体的医疗电子病历数据为例进行具体的分析和模型预测。本文主要进行的工作和创新点为:1)本文提出的第一个算法模型是在LSTM-CRF模型的基础上进行改进使之能够更好的识别特定领域的专业词汇从而提高整体效果。对LSTM编码层进行改进加入Lattice结构,Lattice结构需要两个输入,一个是字向量,一个是以此字结尾构成的词语的词语向量,Lattice结构的作用就是把词语向量与字向量在LSTM解码层的记忆单元处进行加权整合,构建好自己的医疗词典提高分词精确度后用Word2Vec得到输入词向量,同时采用先进的预训练模型Bert得到输入字向量,分析Lattice实现复杂和效率低下的问题,借用Lattice的思想但是改进Lattice的结构,不在记忆单元处进行两种向量的整合而是在输入记忆单元之前采用基于Self-Attention的融合策略进行以此字结尾的词语向量集合的融合然后和字向量进行拼接,让其效率更高更易实现。做了5组不同的对比实验,发现该模型能够更好的识别并分类预定义的实体,交叉验证后F1值的结果总体优于其他的对比实验模型,提高1~3个点不等。2)因为发现了应用特定领域的词典进行分词后的分词信息对于识别实体边界的促进作用,本文提出的第二个模型借用了多任务学习的思想,多任务学习认为不同但是相似的多个任务联合训练过程中可以提取到共同特征从而来提升单一任务的效果,本文构建了NER和CWS协同对抗训练的多任务模型框架,设计的共享BILSTM模块用来提取共同的信息,并且在CWS任务的BILSTM解码层和特征共享层中加入多头Attention机制来提升表现。在对比实验中,NER(Name Entity Recognition,命名体识别任务)和CWS(Chinese Word Segmentation,中文分词任务)联合训练得到的结果优于单独的NER任务模型的效果。3)展望未来的可能的改进方向,可以考虑将生成模型和主动学习等方法应用到特定领域的标注语料获取和扩充上,同时也可以在如何增加多任务学习的任务数量上进行相应探索,或者在算力得到提升后选用更优秀的预训练模型等等,都是此任务未来可以改进的方向。
其他文献
农村物流的发展对于保障城乡物资双向顺畅流动、提升农村基本公共服务水平、支撑农业现代化发和发展农村电子商务具有重要作用。本文通过对惠安县农村物流的发展现状进行分析
BIM技术在国内飞速发展,信息化、技术化时代的来临为项目全周期管理带来了新思路、新方法,BIM技术也由原先单一、阶段性的应用工具转而成为推进项目建设全过程、全方位信息化
预算管理自产生以来始终都是极为重要的管控手段,它现已普遍运用于中外企业的日常管理当中。预算管理对于企业制度的确立,成本费用的控制,盈利能力的提升,核心竞争力的增强发挥着不可替代的作用。2019年4月,第二届一带一路国际高峰论坛在北京成功举办,习近平总书记提出了关于“一带一路”、“丝绸之路经济带”的倡议,使中国市场经济与世界经济具有了联动性。然而,“一带一路”为中国经济带来蓬勃发展生机的同时,国内市
21世纪是知识经济的时代,随着科学技术与社会经济的发展,人民的生活水平不断提高,单纯的观光游览已经很难满足旅游者日益增长的多样化旅游需求。与之相适应,旅游业发展也呈现
随着经济全球化、信息化和网络化的快速发展,国家间的交往变得日益密切,这在促进各国政治、经济和文化等方面交流的同时,给各国国家认同造成了一定的威胁。因此,开展国家认同教育成为党和国家工作的重要指向。而语文教科书兼具工具性与人文性相结合的特点,部编版小学语文教科书更是顺应了新时代我国注重国家认同教育的潮流。基于此,探讨部编版小学语文教科书中国家认同教育内容具有重要的理论意义和实践意义。国家认同教育主要
本文主要就当前我国高校学生职业素养以及能力培养的现状进行详细分析,并结合实际探索有效的应对策略。希望此次的理论研究对实际操作有所裨益。
为提高花生和大豆的播种质量,须辨识种子的优劣,通过种子处理来预防苗期病害和鸟兽危害,适当推迟播期,预防苗期病害。黏土地花生使用微生物复合肥料,选用适宜品种为实现稳产
碳纤维增强树脂基复合材料(CFRP)以其比强度、比刚度高,耐磨、耐腐蚀性好,可设计性强等优良性能而广泛应用于航空、航天、汽车、体育用品等领域。碳纤维复合板因其物理性质和