基于词嵌入技术的深度学习中文长文本分类

来源 :东北大学 | 被引量 : 0次 | 上传用户:edcujmtgb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类任务是自然语言处理领域的核心任务。由于拉丁语系本身所具有的天然分词的语法特点,其文本分类等任务已经率先取得了一定成果,但是在中文语境下,由于汉字不具备天然分词的特点,且存在诸如汉字的多义、词语的多义等复杂情况,因此中文语境下的多项任务仍有提升空间。本文以中文长文本分类为研究对象,旨在利用现有的词嵌入技术的基础上,使用深度学习的方法,解决中文语境下文本分类困难的问题,并进一步解决长文本内语义细粒度分类问题。首先,分析了文本分类的典型过程与原理,详细描述了使用深度学习进行文本分类的方法与技术,从神经网络的雏形到技术细节,诸如激活函数、随机梯度下降法等技术细节。详述了卷积神经网络和循环神经网络的工作机理,解释了其在文本分类任务上的应用价值。为了能够使用深度学习的工具进行文本分类任务,本文详细诠释了词嵌入技术在中文自然语言处理领域的根基地位,从而为以后进一步引入使用深度学习模型实际解决文本分类问题打下了理论基础。其次,本文针对传统的文本分类问题,即每条输入序列对应单一类别的诸如情感分析的问题进行了研究。在进一步的研究中引入了注意力机制,同时搭建卷积神经网络的模块将注意力机制得以实现。同时搭建了双向长短期记忆网络作为序列的输入模块,充分利用了长短期记忆网络在长文本远距离依赖问题上的优势,并配合卷积神经网络模块所获取的注意力得分信息,从而获取最终的文本语义信息来做最后的文本分类。对比于其他文本分类模型在中文长文本分类任务上取得了一定的效果提升。此外,针对长文本的语义情况复杂的问题,本文进一步提出了细粒度的文本分类问题。因为在长文本的情境下,单个样本中可能出现多种中心词的情况,并且对每个中心词有各自不同的情感极性,本文经过多组对比试验,搭建了中心词抽取模块与情感摘要模块,能够将输入序列中的所有具备分类价值的中心词自动抽取并标注出来,并对其进行情感极性的分类,最终模型取得了理想的分类精度。
其他文献
“思辨性阅读与表达”是2017年《普通高中语文课程标准》提出的7个必修学习任务群之一,“学习任务群”是《普通高中语文课程标准(2017年版)》提出的一个新术语,是新的统编版高中语文教材中一种新的学习方式,代表了一种全新的学习理念。面对这个新事物,大多数老师感到新鲜,但又有些茫然。而作为必修之一的学习任务群思辨性阅读达与表达,由于长期忽视思维培育,对大多数语文老师来说就更是陌生。故此,明确何谓“思辨
随着科学技术和网络经济的快速发展,各企业转而改革营销渠道,建立线上直销渠道,采取了线上直销渠道和传统零售渠道并存的销售模式。在实际的供应链中,企业决策时会面临多种不确定性,其中包括顾客对产品需求的不确定以及生产商的产出不确定等。市场不确定性的增加以及产品的生命周期缩短等因素增加了供应链中的风险。企业决策者对待风险表现出不同的态度,并且会作出不同的决策。供应链的不确定性和风险严重影响着供应链的性能,
在“工业4.0”和《中国制造2025》的引领和推动下,钢铁生产正朝着智能化、高效化、绿色化的方向不断转变。将信息化与工业化深度结合,提高企业核心竞争力是大势所趋。铁前配料问题是根据生产目标、工艺约束及库存要求制定合理的配料方案。对此问题的优化,将帮助企业提高效率、降低成本、提升企业竞争力。针对铁前配料问题优化,本文首先分析和综述了该问题相关领域的研究成果,然后以此为基础开展了以下研究工作:1)针对
作为继钢铁、铝合金之后第三大类金属工程材料,镁合金被誉为21世纪的“绿色工程材料”。因其低密度、高比强度和比刚度、良好的减震与电磁屏蔽性能,镁合金已经广泛应用于航天航空、交通运输、机械行业、电子产品等领域。与其它镁合金相比,挤压态ZK60商用镁合金具有较高的静强度。为使挤压态ZK60镁合金获得良好的机械加工性能及塑性延伸率,需对其进行退火处理以消除挤压成形过程产生的残余应力及加工硬化。然而,退火处
随着我国经济的快速发展,我国企业并购交易越来越频繁,企业财务报告所披露的商誉信息也越来越受到人们的关注。根据我国企业会计准则的规定,商誉是企业合并成本大于合并取得被购买方各项可辨认净资产公允价值份额的差额。可见,我国企业财务报表中所确认和计量的商誉是并购方为并购交易所支付的并购价差,即并购商誉。那么,并购商誉与商誉有什么不同,并购商誉的本质到底是什么,并购商誉是否又能如商誉一样提升公司价值?本文通
中华传统文化源远流长,博大精深。文言文是中华传统文化宝库中不可多得的瑰宝,是传承中华传统文化的重要载体。文言文中蕴含着丰富的民族精神和民族智慧,学生学习文言文的过程事实上就是传承中华传统文化的过程。不仅有利于学生提高自身的语文素养,还有利于丰富学生的精神世界。在初中阶段文言文教学中传承中国优秀传统文化不仅符合时代发展要求,也是培养学生语文核心素养和促进学生全面发展的关键。2016年9月,全国范围内
SA738 Gr.B宽厚钢板是第三代核电堆型AP1000核反应堆安全壳的主要材料,钢板厚度较大,由于钢板服役中遇到的工况复杂,钢板承受多种载荷,因此要求钢板具有良好的强度和韧性,同时该材料对组织和性能均匀性的要求远高于其他材料。随着核电站向大型化发展,核反应堆安全壳也随之增大和增厚,安全壳上设备运入口和气闸须使用厚度100mm级特厚板材,而随厚度的增加,核电钢的低温韧性指标反而逐渐升高。同时,受连
随着我国GDP的逐年增长,人们对居住环境的期望不断提高,这使得建筑装饰产业得到了飞速发展,与此同时却存在着劳动力匮乏、劳动力成本不断增加等问题。因此设计能够适应建筑产业的高科技智能机器人系统是未来重要的发展方向。目前,国内外自动贴瓷砖机器人已经实现了自动取砖、定位、贴砖等一系列动作,可以完成预期的贴砖功能。但由于缺少连续的供砖系统,使得贴瓷砖机器人在工作时存在间断性,降低了工作效率,并且待贴瓷砖空
核能作为一种清洁、高效和安全的新能源,正日益受到世界各国的青睐,我国目前建设主流核电堆型是AP1000,其安全壳采用SA738Gr.B钢板制造,要求具有高强度及良好的低温冲击韧性。本课题依托于十三五国家重点研发项目,研究核反应堆安全壳用SA738 Gr.B钢厚板在热处理过程中的相变和析出规律及强韧化机理。本文主要研究工作及研究结果如下:(1)利用JMatPro热力学软件对SA738 Gr.B钢的相
对于企业来说,资金来源充足是企业生存和发展的必要条件。现实中采用何种方式融资是企业筹资面临的难题。但抛开各种各样的形式,企业融资的渠道整体上主要分为两种:一种是债务融资,一种是权益融资。资本结构问题已经成为当今财务管理领域研究的热点,资本结构与企业代理成本、运营成本、资本成本、财务状况等因素有着直接的关系,进而能从一定程度影响企业绩效。装备制造业作为典型的资金密集型行业,研究行业资本结构对企业绩效