基于深度学习的多标签分类方法研究

来源 :齐鲁工业大学 | 被引量 : 0次 | 上传用户:wusuowei282736
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,与其关系紧密的人工智能技术得到了跳跃式的发展,文本信息的数量不仅展现出跳跃式的增长趋势,还逐渐显现出多标签、多粒度,高复杂性的特点。为了对文本信息进行更为效率的分类管理,实现文本内容的有效保留和准确过滤,研究者们近年来开始关注于自然语言处理领域中最具有普适性的多标签分类技术。基于深度学习的多标签分类方法能够自动地为文本序列中具有显著意义的信息赋予标签,进而实现对文本数据的高效利用和管理。
  本文对多标签分类任务进行了全面具体的分析,并针对现有的多标签分类模型的不足提出了以下两种方案:
  (1)传统的多标签分类模型在捕获文本序列中的语义信息时,要么忽略了局部语义,要么丢弃了序列的全局依赖性,这使得在文本序列中的信息没有被充分挖掘,进而造成标签预测效率的下降。本方案提出了一种新颖的序列到序列(Seq2Seq)学习策略称为“并行编码,串行解码”,基于该策略设计了一种层次化序列到序列的多标签文本分类模型。该模型并行地结合卷积神经网络和自注意力作为编码器,从源文本中提取细粒度的局部邻域信息和全局交互信息。此外,本文还应用了一个层次化的解码器来解码和预测标签序列。所提出的方法不仅充分考虑了源文本中可解释的细粒度信息,而且有效地利用这些信息来生成标签序列。在三个数据集上对模型进行了大量的对比实验。结果表明,与目前最先进的基线相比,所提出的模型在性能方面实现较全面的领先。此外,深入地分析表明我们的模型与基于RNN的Seq2Seq模型相比具有一定的优势,并且在处理高标签/样本比的数据集时更具有鲁棒性。
  (2)传统的基于Seq2Seq架构的多标签分类模型在进行预测时,解码器按时间顺序依次预测标签的,这导致其在时间效率上大打折扣。对于多标签分类任务,输出标签之间是通常无顺序的。基于Seq2Seq的模型总是以固定的标签排序进行训练,导致在测试时往往会产生不稳定的预测。本方案提出了一种新颖的语义-标签多粒度注意力(SLMA)模型用于解决多标签分类任务。该模型在统一的模块中通过堆叠扩张卷积结构来构建文本序列在局部相关性和长期依赖性方面的多粒度语义特征表示。同时,利用图注意力网络(GAT)直接对标签之间的相关性进行建模,以此来更新标签表示。随后通过所设计的多粒度注意力来实现不同粒度层次的语义特征表示对标签的加权。最终,通过与输入标签嵌入矩阵权值共享的全连接层和一个Sigmoid函数实现标签的正确预测。实验表明,该模型在三个基准数据集上都取得了较好的性能。在进一步的探究实验中发现该方法对高频和低频标签的分类都有较好的鲁棒性。
其他文献
人体的健康状态可以依靠人体生理信号来反映,实时监测人体的生理信号参数可以及时分析与诊断患者病情。随着各类便携式智能移动设备和人工智能的快速发展,在对疾病筛查和预测过程中,除了可以通过生化、影像检查结果发现疾病的端倪外,还可以通过移动智能设备对人们的语言和文字形成的规律进行分析,这种分析得出的数据能够帮助医生更有效地预测并追踪早期的发展障碍、精神疾病和退化性神经疾病等。本文设计的人体多生理参数数据处
学位
卷积神经网络(Constitutional Neural Networks,CNN)具有良好的非线性拟合性,因此被广泛应用于图像分类,语音识别和目标检测等领域。随着CNN的发展,模型的大小和计算量剧增导致CNN模型只能在特定平台使用,无法实现专有化和小型化。现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)具有高性能、低功耗及可重构等特点,在进行CNN加速
现如今,物联网技术将世界变成一个万物互联的时代,嵌入式设备与物联网的结合成为了嵌入式技术发展的真正未来。天然气作为一种高效清洁的能源,在国内呈现需求日益旺盛的态势。而天然气的开发环境恶劣,天然气井控制器的应用就为天然气开采和管理提供了技术支持。目前的气井控制器的设计以进口CPU为主,国产龙芯CPU的发展为我国摆脱技术依赖提供了新的支持。基于此,本课题开发了一款基于国产龙芯CPU的气井控制器。通过对
水质检测是水保护的前提和基础,生化需氧量(Biochemical Oxygen Demand,BOD)、化学需氧量(Chemical Oxygen Demand,COD)、亚硝酸盐能够很好地反映水污染的程度。研究上述参数的快速检测,可为水资源保护提供有效的数据支持。研究基于高光谱技术的水质指标定量研究,可快速、无接触、大面积的实现水质的实时检测,对我国目前的水污染治理问题提供理论依据具有极为重要的
学位
在高校智慧校园建设过程中,学业预警作为智慧校园的主要组成部分,其主要利用数据挖掘技术保障学生顺利完成学业,同时为高校提供一定的决策支持。本文以某校相关部门的研究课题为背景,旨在搭建适用于该校的学业预警系统,保障学生顺利完成学业。主要研究内容分为“学业预警模型研究”和“学业预警系统设计与实现”两个部分,其详细内容如下:在学业预警模型研究的过程中,以某校本科生的历史成绩数据、一卡通消费数据和图书馆刷卡
学位
蛋白质二级结构预测在生物信息学领域具有重大意义,对充分了解蛋白质的功能和结构是十分必要的,科学家们从未停止对蛋白质结构的研究。本文主要使用了深度学习模型来进一步提高蛋白质二级结构的预测准确率,本文的主要工作包括以下几个方面:(1)基于优化的卷积神经网络的方法。首先本文对蛋白质数据进行处理,将CASP11数据集作为验证集,并建立初始的卷积神经网络模型,然后将卷积神经网络的层数、学习率、梯度冲量和正则
学位
多输入多输出(Mutiple-Input Mutiple-output,MIMO)通过其空间复用和分集能力可有效提升无线通信系统的吞吐量和可靠性,是新一代移动通信系统中的关键技术之一。预编码通过在发射端对发送信号进行预处理,可有效抑制数据流间干扰,从而提升系统容量和资源利用率,因而是MIMO系统性能得以实现的重要技术手段。传统预编码技术一般通过统计分析和高级信号处理技术设计固定的算法,对环境的动态
近年来,物联网、人工智能以及区块链等技术的快速发展使得人们生活质量更加优越,人们对物联网设备(智慧手环、智能音箱和手机等)需求量不断增加。然而,大多物联网设备被制造时都存在缺少防火墙软件和密钥口令较弱等安全问题。攻击者可以利用这些存在安全隐患的物联网设备对物联网中的其他物联网设备发动分布式拒绝服务攻击(Distributed Denial of Service,DDoS)消耗被攻击者系统资源或网络
蛋白质是生命活动的主要承担者,充分了解其结构和相互作用对于疾病的治疗及新型耐抗性药物的研发具有重要意义。然而已知蛋白质的数量增速极快,通过直接观测的方式确定其三维结构面临着成本过高,速度过慢的问题,因此如何成功预测蛋白质三级结构成为了热门研究方向。本研究创新性运用生成对抗网络(GAN)和双向长短时记忆循环网络(BiLSTM)技术对蛋白质二级结构进行预测,有效发挥了承上启下的关键任务,为解决直接利用
学位
制造业是我国的支柱产业,随着中国制造2025的提出,数字化、网络化、智能化是我国制造业未来发展的基本方针。但随着制造业的快速发展,其设备参数关系复杂、关系相互制约、不易管理人员分析等问题也随之出现,而设备参数的设定又是决定产品质量的重要因素之一,因此参数优化是整个制造过程优化中重要的一部分。而复杂的数据关系可以利用知识图谱来进行梳理,可以让管理人员更加容易的理清其中的关系,因此如何利用知识图谱对参
学位