结合规则优化神经网络

来源 :吉林大学 | 被引量 : 0次 | 上传用户:jenniechen007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习发展迅猛,在多方面取得了显著成就。实践表明,深度卷积神经网络在很多人工智能的应用中非常有用,尤其在推荐系统、图像识别与分割、语音识别领域,有很多应用已经证明这些方法非常有效。在视觉方面,深度卷积神经网络除了为机器人和自动驾驶汽车的视觉提供动力之外,还成功地识别了人脸,物体和交通标志。与此同时,越来越多的人们尝试将深度卷积神经网络应用在自然语言处理领域。情感分析是自然语言处理中一项基础的研究。情感分析是一种方法,它可以确定一段文字是积极的或者是消极的又或者是中立的。通常它也被称为意见挖掘,用以获得发言者的意见或态度。这项技术的常见用例是发现人们对特定主题的看法,为公司、政府等部门提供舆论情报挖掘。假设你想知道微博上的人认为某明星演技情况。可以利用微博上的留言数据来回答这个问题。你甚至可以通过确切地提取人们为什么或不喜欢这个明星的关键词来了解人们认为这位明星是好还是坏的原因。例如,如果“外表”显示为消极评论的常见主题,那么我们立即就会明白观众为什么不开心。通常我们可以利用词向量数值化表示单词,来进行语义的情感分类任务。词向量相较于one-hot编码更加朴素自然。它最大的优势来源于它的稀疏性,是单词的稀疏编码,由一个隐含层通过迭代学习形成的一个低维度向量空间。在这个低维空间中,词向量能够得到一些重要语法特征,同义词和近义词有着更为接近的欧式距离。卷积神经网络利用多个卷积过滤层提取较高抽象的特征。卷积神经网络最早由计算机视觉技术转化而来,通常情况下,我们可以把卷积层看做某种滤波器。卷积神经网络可以为各种各样的任务提供人工智能化解决方案。和图像分类类似,在自然语言处理领域,卷积神经网络也同样能够很好的工作。简单、高效,使得卷积神经网络是数据建模的最佳选择。尽管传统的神经网络为大数据模型的训练提供了一种强大的参数学习机制,但并不是说神经网络处理任何问题都通用。神经网络模型仍然有缺陷。在使用时它的不够灵活、不可解释一直是困扰神经网络和深度学习的重大问题。有时候我们的模型甚至是反直觉的。反过来说,这些缺陷也使得用人类的意图来直接指导模型非常困难。一直以来,卷积神经网络由于它黑盒的特质,它的诊断和调试往往都需要不断重复和尝试,这是一个痛苦的过程。当出错时是我们无法精确定位到参数的位置和问题。后文中会重点以文本情感为例,结合实践讨论如何将卷积神经网络应用在它本不擅长的领域结合深度学习和结构化的规则对于解释神经网络非常有利,我们也需要结合神经网络和结构化的逻辑规则来提高模型的灵活性。我们通过“蒸馏法”把结构化信息转化成神经网络的参数或权重,利用这一框架,只需加入一些简单的结构化规则即可强化神经网络。在文章的最后,我们以文本情感分析为例,在模型中加入了一些语法规则,成功达到优化卷积神经网络准确度和加快训练速度的目的。在竞赛或者工业界的实践中,可以快速将一些直觉和见解融入最终结果,提高模型指标。
其他文献
地名是汉语中一类特殊的词汇系统,其作用是将各个地理区域划分开。它是人类社会历史发展的产物,并且随着时代的发展,地名本身的文化负载意义也不断地扩充。作为一种特殊的文化现象,它有着丰富的语言、历史、地理、民族、社会等学科内涵。本文以徽州地区的行政地名作为研究对象,数据来源自国家统计局官网2019年统计用区划和城乡划分代码地名数据,对古徽州地区现存的一市六县,共1169个行政地名统计分析,归纳其主要特点
我国电网中基本已经全部装设了广域测量系统(WAMS),该系统具有采集整个电网每个站点实时数据的能力,采集的数据包括幅值、相角、时标等等,广域测量数据(WAMS数据)具备时间同步性和高精准度的特点。基于广域测量系统对长输电线路进行参数辨识及电压稳定指标研究,可为长输电线路提供安全运行信息,同时对电网的安全运行和为电网的调度运行提供辅助决策具有重要意义。基于此,本文主要研究内容如下:首先,针对长输电线
近几十年来,语言学研究者们对研究论文的体裁分析进行了大量研究和深入讨论。但是,随着新学科的出现或多学科间的相互融合,学术研究面临新的语境,新的研究论文随之产出。我们
随着物联网和信息技术的快速发展,信息化已经成为制造业企业提升竞争力的重要途径。车间是制造业企业内部的一级生产管理组织,车间信息化是实现企业整体信息化的基石。在制造过程中,原材料、在制品、成品等在车间内部的实体流动,我们一般称为生产物流。由于制造业的工艺路线灵活多变、生产流程复杂,所以如何通过信息化技术有效、准确地对车间生产物流过程进行管控成为研究重点。本文针对四川省某制造企业的实际需求,设计和实现
《普通高中生物课程标准(2017版)》(下文简称新课标)明确了生命观念、科学思维、科学探究和社会责任的生物核心素养。其中生命观念是生物学科特有的标志和关键,其贯穿高中生物课程,并在必修模块《分子与细胞》集中体现。学习进阶是学生在同一主题概念是所遵循的连贯的、典型的学习路径的描述,呈现为围绕核心概念展开的一系列由简单到复杂、相互关联的概念序列。本研究以人民教育出版社出版的高中生物学教材必修一《分子与
非遗技艺作为我国非物质文化遗产的重要组成部分,有着鲜明的民族特色和深厚的文化底蕴。长久以来,非遗技艺主要依托家族内部或师徒间的言传身教得以留传,但如今却面临着几近失传的危机。近年来,以保护和抢救非遗技艺为主要目地的非遗技艺题材纪录片不断涌现。它们以其特有的叙事策略,通过讲述传承人身上的故事,在展现非遗技艺魅力的同时,将非遗文化的精神内核传递给观众,以达情感共鸣,从而唤起全社会的关注。本文以毕业作品
字符串具有多元化的意义,是计算机领域中重要的研究对象。字符串查询在数据分析、生物序列分析等很多领域有着广泛的应用,然而很多因素导致字符串精确查询面临很大困难甚至不
随着经济发展与社会进步,我国老龄化社会程度不断加深,健康养老问题突出。老年慢性病导致的疾病负担日益加重,老年患者生命质量严重下降,健康服务需求显著增加。“医养结合”为老年慢性病人群的健康养老提供了新思路,但卫生系统仍缺少连续性管理慢性病的计划,亟需在老年慢性病健康服务需求的基础上探索适宜的老年慢性病卫生服务模式。【目的】了解居家社区和机构不同养老方式和社会背景下的老年人慢性病患病情况、卫生服务需求
研究目的:观察人体在三种不同鞍座高度下进行蹬踏自行车运动时,下肢的神经肌肉活动和肌肉协调模式及对下肢参与收缩肌肉的局部温度的影响,为自行车爱好者调整适合的鞍座高度提供依据。研究方法:本研究采用单因素方差分析和重复测量方差分析设计。13名沈阳体育学院男大学生自愿参与本研究。每名研究对象分别以高鞍座高度(最低蹬踏位置时的膝关节角度为25°)、中等鞍座高度(最低蹬踏位置时的膝关节角度为35°)和低鞍座高
第一部分ABO血型与抗结核药致肝损伤易感性的关系目的:抗结核药致肝损伤(Antituberculosis drug-induced liver injury,ATLI)是一种严重的药物不良反应,其发病机制尚不清楚。利福平(Rifampin,RIF)可产生药物依赖性抗体而引起溶血反应,溶血导致游离血红素水平升高,从而影响肝细胞功能。血型抗原决定簇可以作为药物-抗体复合物的特异性受体位点,在RIF存在