【摘 要】
:
方面级情感分析(aspect-based sentiment analysis,ABSA)任务的目标是在给定目标文本与方面词的条件下进行情感极性的预测。当前,方面级情感分析领域的研究主要包括使用循环神经网络等表征方面词与上下文信息、使用预训练语言模型并微调等方式。然而当前研究存在以下问题和不足:首先,一些基于预训练语言模型的研究仅关注目标文本的语义特征表示学习,忽略了目标文本、方面词、情感极性三者
论文部分内容阅读
方面级情感分析(aspect-based sentiment analysis,ABSA)任务的目标是在给定目标文本与方面词的条件下进行情感极性的预测。当前,方面级情感分析领域的研究主要包括使用循环神经网络等表征方面词与上下文信息、使用预训练语言模型并微调等方式。然而当前研究存在以下问题和不足:首先,一些基于预训练语言模型的研究仅关注目标文本的语义特征表示学习,忽略了目标文本、方面词、情感极性三者之间的关系;其次,在基于预训练语言模型Bert进行知识增强的研究中,大多数研究直接将领域数据集在Bert的两个预训练任务上再次训练,没有考虑不同下游任务对预训练目标函数的需求,缺少目标函数比重对下游任务影响的分析;最后,一些下游任务的有监督训练样本不足,易导致模型训练不充分。针对以上问题,本文基于预训练语言模型及知识增强方式开展方面级情感分析的研究:针对忽略目标文本、方面词、情感极性三者之间关系和下游任务有监督训练数据不足的问题,提出三种构造辅助句子的方式,利用方面词与情感极性信息,将针对目标文本的多元情感分类问题转化为序列对之间的二元关系判断,一方面使预训练语言模型更好地学习方面词相关的情感特征表示,另一方面也有效增加了训练样本的数量;针对知识增强中没有考虑预训练目标函数对下游任务影响的问题,提出两种知识增强的方式,分别使用领域内数据集与任务相关数据集对预训练语言模型Bert进行再次预训练,并通过设置不同的预训练目标函数比例研究预训练目标函数对下游任务的影响。最终实验结果证明了本文提出的构造辅助句子方式和知识增强方式的有效性:在Semeval2014 task4的Laptop和Restaurant数据集上,三个预训练语言模型Bert、XLNet以及Roberta与辅助句子的结合都取得了很好的结果,证明了所构造辅助句子具有泛化性,其中Roberta在task4的子任务2——方面词极性预测任务中,两个数据集上的准确率分别达到89.32%与91.46%,而在子任务4——方面词类别极性预测的Restaurant数据集的四分类以及三分类任务上分别达到94.31%、94.65%的准确率,取得了新的最好结果;知识增强的实验结果一方面证明了两种增强方式的有效性,另一方面说明了不同的下游任务侧重于不同的预训练目标函数,设置合适的预训练目标比例进行知识增强有助于模型性能提升。
其他文献
汽车结构件设计除了考虑结构、材料之外,结构件的工艺设计也是非常重要的,在保证结构件整体强度及性能要求外,还需考虑零件的制造工艺、加工精度及制造成本等因素。汽车零件的工艺设计包括零件制造工艺,如冲压、铸造、机加、热处理等,还包括加工过程中基准的选择、公差的设计等过程。本文对结构件的主要制造工艺进行了介绍,并对制造过程中的基准选择、常用工艺关重点进行了探讨。
目的:大量研究表明前列腺基底细胞的缺失与前列腺癌的进展相关,本课题研究小鼠前列腺基底细胞在体外对前列腺癌细胞增殖、迁移和侵袭的影响,研究前列腺基底细胞在体内对前列腺癌增殖及上皮间质转化的影响,旨在探究前列腺基底细胞在体内外是否可以抑制前列腺癌细胞的增殖、迁移和侵袭,为前列腺癌提供新的治疗方案。方法:用p63抗体进行免疫荧光鉴定小鼠原代前列腺基底细胞。通过Ki-67免疫细胞化学以及Ed U细胞增殖实
随着微小机械和微机电系统广泛运用于各个领域,机械电子装备制造技术也趋向高精密和微型化。微槽结构作为微型结构的基本单元,具有增加散热面积、存储润滑剂和减少阻力等功能,多用于大热流密度器件的散热或表面润滑,但其存在加工尺寸小,精度要求高以及加工难度大等问题。激光烧蚀加工和微细电解加工在微细加工领域具有独特的优势,但激光烧蚀加工存在热影响区、加工精度低等问题,微细电解加工存在加工效率低等问题,本文结合激
[研究目的]通过提出企业跨境数据保护成熟度评估工具,来研究企业面向欧盟区.域的数据保护问题。以欧盟为代表的各主体为积极应对数据跨境安全问题,纷纷出台数据保护立法。在此背景下,作为掌握海量数据的企业对于数据的跨境安全传输问题更是责无旁贷。[研究方法]通过构建企业跨境数据保护成熟度评估模型,聚焦于企业面向欧盟区域的数据保护问题。根据数据隐私管理标准发展三阶段内容以及能力成熟度等理论,结合GDPR区域监
随着计算机技术的快速发展,软件数量呈爆炸式增长,各行各业都难以离开软件的支持,软件可靠性得不到保障造成后果的严重程度也随之增加。软件缺陷预测作为一种保证软件可靠性的手段,能够协助开发者定位可能存在的问题,降低测试成本,优化测试资源配置。早期面向软件缺陷预测的研究中程序源码信息普遍处于缺失的状态,近年来,有研究者提出使用深度学习来挖掘源代码中的信息。这些方法十分新颖但存在一些局限性:首先,他们通常是
随着通信设备的逐渐升级以及通信技术的不断发展,通信系统中对天线性能的要求也趋于多样化。基片集成波导(Substrate Integrated Waveguide,SIW)具有低损耗、低成本、易于集成等特点并保留有金属波导的大部分优秀特性,因此,基于SIW设计的结构在通信系统中有着可观的应用前景和发展空间。此外,能够满足多频段通信需求的多频天线和减小极化失配影响的圆极化天线也被广泛应用于各种通信设备
增减材复合制造技术结合了增材制造技术的高效率、高自由度和减材加工技术的高精度、高表面质量等优势,可解决增材成形件表面质量低、成形精度低以及应力大等问题,可实现航空航天、模具等领域零件的直接制造和再修复制造,为制造业提供了一种新的思路,具有巨大的发展潜力和应用前景。然而,目前对于增减材复合制造工艺的研究还鲜有进展,特别是对于增材和减材协同加工的相关研究更加的稀少。所以针对上述背景,本文通过搭建了激光
三维着装人体在AR、VR、游戏、动画等方面都有着巨大的应用价值,如何捕获三维着装人体模型是计算机视觉与图形领域的研究热点问题。早期人们重建三维着装人体的方法往往依赖特殊的设备或者需要人工干预,这阻碍了相关技术的普及。随着机器学习以及深度学习的发展,有许多工作尝试利用机器学习从图像中重建人体模型,但从图像中重建人体模型存在一些待解决的问题,如:重建的人体模型不包含衣服;重建方法的鲁棒性不强,重建结果
将可持续的纤维素材料与电子器件结合是当今学术界的研究热点。高雾度透明纤维素薄膜是一种具有特殊光学性能的纸张。它除了具有普通纸张的优点(可降解、成本低、柔性、质轻等)外,还呈现出高的透光率和优异的光散射性能,可作为绿色光学透明材料应用于太阳能电池,提升电池的光电转化效率。然而,由于目前对高雾度透明纤维素薄膜的雾度影响因素缺乏深入系统的研究,导致雾度的形成机制还不明确,制约了该薄膜的产业化进程。因此,
粘结剂喷射3D打印(Binder jet 3D printing,简称BJ3DP)与选择性激光熔化/烧结等增材制造方法相比,具有制造成本低、适用材料广等优点,在快速、批量化生产方面具有发展潜力,近年来得到广泛关注。国外因先发优势,已在相关领域取得一定研究成果,而国内对BJ3DP技术的研究尚处起步阶段,相关文献报道较少。本文以316L不锈钢粉末为原料,以酚醛溶液为粘结剂,分析打印参数对生坯密度和尺寸