基于注意力机制的中文情感分析

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jwh346048162
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感分析,也称意见挖掘,是指对一段文本的感情进行分类,并在此基础上对文义进行归纳和推理的过程,例如对某一电影评论或某一商品评价在感情上如积极、消极或中立等进行分类,以此对电影或商品的受欢迎程度进行分析。研究情感分析,对于个人,企业甚至是国家来说,都有着非常重要的意义。情感分析是一个有监督学习中的分类问题,同时也是一个序列建模的问题。但值得注意的是,目前国内外大部分情感分析方法在英文文本的应用上较为成熟和有效,而对于中文文本分析的相关应用研究相对较少。究其原因主要是中文文本的测评资源比较匮乏且杂乱;同时相较英文而言,中文因分词的复杂度高因而在处理上存在着巨大的挑战。因此,本课题将基于注意力机制建立一个针对中文情感分析的有效模型,着重研究中文文本的情感分析。本文通过对中文的情感分析数据集进行测试,探索并提出了一种不同于卷积神经网络或者循环神经网络的神经网络模块—SAE(自我注意力网络)。论文将介绍两种自我注意力的网络架构,称为SAE和SAE2。SAE是在SAN的工作上进行开发的,SAN的目标是创建最简单的SAN架构,使其可以与基本的循环神经网络和卷积神经网络架构进行比较。SAE2是我们SAE架构的扩展——在SAE的基础上使用了多头注意力机制,L2正则化,替换简单的池化操作。我们在5.2节中使用SAE2来获得情感分析数据集的更好结果。我们在四个情感分析数据集上对简单SAE、BiLSTM和BERT算法模型进行详细比较之后,发现SAE(自我注意力网络)能在中文数据集上实现获得比BiLSTM和BERT模型更高的分类准确度,同时其也比循环神经网络具有诸如更快的训练和推理时间、更少的训练参数等更好的模型特征。
其他文献
合生大桥为独塔双索面斜拉桥,根据大桥的特点,确定了主梁悬臂施工采用下承式前支点牵索挂篮,采用拱架结构支撑模板系统,可有效地将混凝土梁段重量传递至承载平台,并在保证平
作者对浙江省7个地市的8所高中的教师进行了抽样调查,结果表明继续教育是提高教师教学技能,促进青年教师成长为学者型教师的一条有效途径,其重要性和必要性已为广大教师所认识。
政府会计改革是未来我国财政管理改革的重要内容,西方国家的相关改革探索和实践为我国提供了有益的借鉴和启示。论文对国外政府会计改革的总体情况和主要会计模式进行比较分
[目的]动脉粥样硬化(atherosclerosis,AS)是心脑血管疾病的主要病理基础,尿毒症毒素硫酸吲哚酚(indoxyl sulfate,IS)是AS的重要危险因素,其发生机制仍未完全阐明。miR-34a-5p通路可多靶点作用于AS相关信号通路和分子。我们推测miR-34a-5p通路可能与IS促AS发生发展密切相关。为验证上述假设,我们拟采用分子生物学实验技术,对miR-34a-5p通路在I
在任何一种经济中都需要建立一种金融机构与证券市场能够共同发挥作用的、完善的金融体系。但是,考虑到各种经济制度建立基础和发展历史与传统上的差异,以及金融体系与企业部
虚假会计信息的产生机理包括内在动因和外部环境两个方面:会计信息生产者与会计信息之间存在一定的利益关系,是产生虚假会计信息的内在动因;一定时期的法律环境、政治经济环
教学内容和课程体系的改革是教学改革的重点 ,也是改革的难点。审视高师原有课程体系的长处和不足 ,根据我们对高等教育发展趋向的认识和培养 2 1世纪基础教育合格师资的要求
OBE(Outcomes-based Education)最初来源于加拿大的职业培训教育,在国内又被称为"成果导向"教育模式。基于OBE模式的《客房服务与管理》课程开发,首先必须按行业要求确定培养
本文认为 ,作为一个客观历史进程 ,经济全球化发端于世界经济和世界市场的形成 ,其进程的起始时间是 19世纪 6 0— 70年代 ,其发展迄今分为两个阶段 :第一阶段 (经济全球化初
大学英语翻译实践中往往受到母语的负迁移的影响,由于人们在英语学习过程中需要通过母语来进行第二语言的解析,所以从母语过渡到第二语言的时候会发生迁移的现象。就大学英语