【摘 要】
:
命名实体识别这一课题一直是自然语言处理研究的重点之一,其主要目标是从文本中识别人名、地名、组织名等实体。作为自然语言处理中一项基本任务,命名实体识别对自动问答、关系抽取等任务有着重要作用。目前基于深度学习的中文命名实体识别模型主要通过利用外部知识的方式获得包含更多语义信息的字符向量,然后利用循环神经网络获取序列信息,然而外部知识可能不易获取和评判,并且网络的循环结构导致模型效率低下。因此,设计一个
论文部分内容阅读
命名实体识别这一课题一直是自然语言处理研究的重点之一,其主要目标是从文本中识别人名、地名、组织名等实体。作为自然语言处理中一项基本任务,命名实体识别对自动问答、关系抽取等任务有着重要作用。目前基于深度学习的中文命名实体识别模型主要通过利用外部知识的方式获得包含更多语义信息的字符向量,然后利用循环神经网络获取序列信息,然而外部知识可能不易获取和评判,并且网络的循环结构导致模型效率低下。因此,设计一个实用、高效的命名实体识别模型具有重要的研究意义,但也面临许多挑战。本文通过深入分析目前命名实体识别存在的问题及其发展现状,对现有的命名实体识别模型进行研究,本文的贡献如下:(1)提出了基于数据增强和多级残差卷积(Multi-level CNN with Residual Structure,RS-MCNN)的命名实体识别模型。RS-MCNN首先使用数据增强方法增加训练样本数,提升模型性能的同时也提高了模型的实用性。其次模型使用不同的字符向量查找表构建多模态向量,获取更丰富的语义信息。然后再使用多级残差卷积进行特征提取,为每个字符获取并融合不同范围内的上下文信息。大量基准数据集上的实验结果表明,和现有的基于循环神经网络的命名实体识别模型相比,RS-MCNN模型达到了更好的识别效果,并且有效地提高了模型效率。(2)提出了融合多级残差卷积与注意力机制(Multi-level CNN with Residual structure and Attention mechanism,RA-MCNN)的命名实体识别模型。RS-MCNN模型虽然通过堆叠多层卷积网络获得了较大的感受野,获得了长距离的上下文信息,但仍然很难获取到全局上下文信息。因此本文提出字符-句子注意力机制来构建每个字符与其所在句子的关系,从而获得全局信息。将注意力机制添加到多级残差卷积网络之后,可以一定程度上弥补多级残差卷积的不足之处。不同数据集上的实验结果表明RA-MCNN有效地改进了RS-MCNN模型,进一步提高了实体识别精度。(3)提出了基于预训练模型BERT与多级门控卷积(Multi-level CNN with Gated mechanism and Attention mechanism,BERT-GA-MCNN)的命名实体识别模型。考虑到预训练模型可以学习到更丰富的语义信息,并且其具有强大的泛化能力,本文使用BERT模型替代RA-MCNN中的向量查找表,生成字符向量。此外,为了增强模型对特征重要程度的判别能力,本文还使用门机制对多级残差卷积进行改进,实现特征的自适应融合。实验结果表明预训练模型和门机制均可以对模型效果进行有效的改进,进一步提高了模型精度。
其他文献
低蛋白氨基酸平衡日粮不仅可以提高机体对氮营养素的利用率,且能够降低排泄氮对环境造成的污染。此外,日粮中未被消化的蛋白质易在仔猪肠道发酵产生有害代谢产物,有研究表明低蛋白氨基酸平衡日粮可以改善仔猪肠道菌群减少有害代谢产物。苏山猪作为培育新品种,尚无相关饲养标准。因此,本研究探讨三种不同蛋白水平(18%、17%和15%)日粮同时平衡赖氨酸、蛋氨酸、苏氨酸、色氨酸和缬氨酸5种限制性氨基酸对苏山保育猪生长
公路货运市场是我国最主要的货运市场,其货运量占总货运量远超于其他货运方式。而由于我国90%以上的货车司机都是个体户,无法进行一体化的运力优化,加之我国幅员辽阔,资源分布不均,物流需求也呈现时空差异性和碎片化。在这一供需背景下,我国公路货运市场缺乏有效的车货匹配,呈现“车找货难,货找车难”的局面和“小、杂、散、乱”的市场格局,货车严重超载、严重空驶等高危险、低效率的现象也频频出现。在线货运平台的出现
显著性物体检测旨在通过模拟人类的视觉系统自动识别出场景中最吸引人类注意力的物体,可以帮助人们从海量的数据中获取重要信息,并将有限的计算资源分配给更重要的信息。在RGB-D显著性物体检测中,深度图片作为辅助信息在RGB图片显著前景和背景区分度较小的场景中扮演着重要作用。受限于深度相机和人工因素的影响,深度图片质量也因场景而异,并非所有特征对最终的检测都有益。所以如何设计网络从双分支的输入信息中提取实
疫霉属(Phytophthora)是卵菌纲(Oomycete)的一类重要的植物病原菌属。能够引起多种作物的毁灭性病害。在19世纪中叶由致病疫霉(Phytophthora infestans)引起的马铃薯晚疫病导致“爱尔兰大饥馑”,目前仍是全球农业上的主要病害之一。据统计大豆疫霉(Phytophthora sojae)引起的大豆根腐病平均每年造成约10-20亿美元经济损失。这些植物病害造成经济损失的
自2001年加入WTO以来,我国对外贸易飞速发展,其中,农产品产业内贸易更是成倍增长。2018年中国与欧亚等主要贸易伙伴国家的农产品产业内贸易额达到744亿美元,是2003年的5.56倍。我国农产品产业内贸易的主要伙伴国在地理上相对集中的特点是一种偶然现象,还是一种必然规律?我国农产品产业内贸易影响因素的分析是否要考虑空间因素?根据空间计量经济学原理,地区间的经济和贸易活动通常会相互影响,亦即存在
根据合唱指挥专业艺术硕士学位的要求,笔者在研究生期间筹备开展了两场合唱与指挥学位音乐会。本论文主要阐述第二场音乐会的实践过程,以湖北民歌《龙船调》为例分析音乐会中所出现的问题以及解决对策。论文主要分为五个章节:第一章主要阐述本课题的来源、目的、意义以及国内外研究现状;第二章主要阐述音乐的构思、曲目设计及曲目介绍;第三章主要阐述代表性曲目《龙船调》在音乐会中的设计分析;第四章是笔者对于整个音乐会的思
目的慢性牙周炎主要通过机械方式治疗如龈下刮治,此外,也常用药物辅助牙周炎治疗。但是药物治疗主要依靠抗生素,会引起口腔菌群失调和耐药性等问题。补骨脂素是补骨脂的有效成分,具有抗炎、抗菌、免疫调节和成骨活性,被广泛应用在治疗骨质疏松症中,在肠-肝循环中表现出快速吸收。那补骨脂素对肠道有怎样的影响,是否通过调节肠道功能影响全身免疫,从而影响骨-包括牙槽骨代谢。基于以上背景,本实验通过构建大鼠牙周炎模型,
目的观察孕期过量果糖摄入对胎鼠生长发育和新生子代大鼠肠道菌群的影响,并初步探讨其可能机制。方法1.动物分组:性成熟SD大鼠适应性喂养1周,按雌雄2:1进行合笼,次日以阴道分泌物涂片镜下观察到大量精子视为交配成功。于怀孕第0天,将孕鼠按体重随机分成三组,即:对照组(CON)、葡萄糖组(GLU)、果糖组(FRU),每组20只。在母鼠的整个孕期,通过提供不同成分的饮用水对母鼠进行干预处理:对照组给予蒸馏
电力推进分系统作为舰船综合电力系统中的主要分系统,也是电能需求量最大的分系统,其重要性不言而喻。高可靠性、高效率、高转矩密度是对大容量推进电机系统的基本要求。多相永磁同步电机具有可靠性高、转矩密度大、动态响应速度快等优点,特别适合在空间受限的舰船上使用。不同于传统三相绕组结构,多相永磁同步推进电机通常采用多套多相绕组结构。一方面,当电机某相发生缺相故障时,可将包含故障相的整套对称绕组从系统中切出,
教育大计,教师为本。打造一支高素质专业化的中小学教师队伍是保证教育质量以及培养优质人才的关键。如何提升和发展中小学教师的专业素质,最重要的是要从国家层面对中小学教师的专业素质作出规定与要求,构建科学合理并且有利于教师专业发展的中小学教师专业素质结构。因此,本文以1980年-2020年期间我国中小学教师专业素质结构变迁相关教师教育政策文本为分析样本,运用内容分析法对其进行研究,分析总结我国中小学教师