基于隐含主题协同注意力网络的领域分类方法

来源 :第十八届中国计算语言学大会暨中国中文信息学会2019学术年会 | 被引量 : 0次 | 上传用户:table
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果.然而当训练数据的规模有限,或者测试数据的分布与训练数据有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到.为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法.该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短期记忆网络(BiLSTM)中,与研究进展中的软或硬注意力(soft-or hard-attention)机制一起构成协同注意力.中文话语领域分类基准语料SMP-ECDT 的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制研究进展的领域分类效果,比基线注意力机制Soft att、Hard att 以及单独的隐含主题注意力机制BTM att 分别提高了2.85%、1.85%和1.74%的分类正确率.此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能.
其他文献
随着信息技术和计算机网络的发展,各单位计算机网络已经相当普及,为了保证信息的安全,政府机关单位和企事业单位都建立了与互联网物理隔离或逻辑隔离的计算机内网,随着内网规模的扩大,信息安全问题也日益突出,如何解决单位内网信息安全问题,是信息部门工作的重中之重。保护信息安全的常用手段是保护网络、服务器和存储,往往忽视了对终端的防护,然而很多安全隐患正是从终端引发的,只有加强计算机内网终端管理,才能真正保障
近年来,电子数据擦除技术越来越受到重视,文章介绍了目前主流的数据填充法和物理破坏法两种擦除技术,重点阐述了硬盘自擦除技术的实现机制,并通过具体的实例论证了该技术的优势。该技术较传统的逻辑擦除技术具有更高的安全性,还可大大降低PC端的资源耗费,并能简化擦除程序的开发流程,是一种低成本、高效率的电子数据擦除技术。
通过在南京工程学院分析工程造价专业学生学习预算类软件过程中遇到的问题,来分析教师教学和学生自主学习存在的不足,进而提出相应的改进措施,最终使学生牢固掌握专业软件技
随着科技的快速发展,科技给企业以及国家发展带来的重要影响受到社会各界的普遍关注,高新技术企业(以下简称"高新企业")在我国国民经济中的地位越来越重要。在高新技术企业发
鲁迅的杂文在现代文学史上具有很高的艺术成就,其讽刺手法的运用独具特色。文章认为其讽刺艺术特色有如下几方面:夸大讽刺对象、恰到好处运用多种修辞格的讽刺、以夷制夷的讽
政府既拥有海量的大数据,又可以利用大数据进行资源信息的分析、使用与整合,进一步促进社会信息的公开、透明,使数据高效率的流通。随着科技的发展,以大数据为代表的新型技术
伴随着中国特色社会主义进入新时代,中国电影行业也迈入了新发展时期,尤其是主旋律电影进入新世纪以后,逐渐摆脱了20世纪八九十年代单纯的政治说教色彩,开始在创作上多方尝试
文章主要以将管理体系融入企业的日常运行、管理体系创新为重点进行阐述,结合当下企业日常运行管理实际情况为依据,从企业日常管理与运行现状、将管理体系融入企业的日常运行
1木马僵尸监测数据分析1.1中国境内木马或僵尸程序受控主机分析2013年5月,中国境内(以下简称境内)近162万个IP地址对应的主机被木马或僵尸程序控制,较上月增长4.3%。2012年6月至2013年5月,境内被木马或僵尸程序控制的主机IP数量月度统计如图1所示。
学生英语交际能力薄弱的根源在于缺乏本族语语言文化及目标语语言文化的对比输入、教师在课堂上的语言输入脱离实际的情景语境和文化语境,以及学生缺乏相关的交际活动等等.文