【摘 要】
:
虽然目前基于深度学习的图像分类算法在大规模数据上取得优异的成绩,但是目前主流的深度学习算法主要基于批量训练,而批量训练算法难以应对动态变化的数据流,因为其在面对新到来的数据时,需要将历史数据与新数据混合作为一个整体对模型进行重新训练,导致模型训练周期长、计算资源和存储空间消耗大。因此,增量学习逐渐成为了研究人员关注的焦点。增量学习的目标是让模型能够像人类一样进行渐进式学习,不仅可以连续不断地处理新
论文部分内容阅读
虽然目前基于深度学习的图像分类算法在大规模数据上取得优异的成绩,但是目前主流的深度学习算法主要基于批量训练,而批量训练算法难以应对动态变化的数据流,因为其在面对新到来的数据时,需要将历史数据与新数据混合作为一个整体对模型进行重新训练,导致模型训练周期长、计算资源和存储空间消耗大。因此,增量学习逐渐成为了研究人员关注的焦点。增量学习的目标是让模型能够像人类一样进行渐进式学习,不仅可以连续不断地处理新到来的任务,而且同时能够在有限的存储空间和计算资源的情况下保持处理过去任务的性能,解决批量学习难以应对动态数据流的问题。基于这一背景下,本文针对基于样本保留策略的增量学习方法展开研究,主要贡献如下:(1)本文通过分析目前主流的基于输出蒸馏技术的类增量学习算法所存在的灾难性遗忘问题和新旧类别样本不均衡问题,对输出蒸馏技术进行改进,提出了基于指导性输出蒸馏的类增量分类方法(Instructive Knowledge Distillation Class Incremental Learning,IKD-CIL)。通过让新模型学习有针对性地学习旧模型正确的输出而过滤错误的信息,缓解模型的灾难性遗忘,同时结合在线难例挖掘方法,挖掘信息量较高的样本进行有针对性的再训练,解决新旧类别样本不均衡问题。(2)本文通过分析基于特征蒸馏技术的类增量学习算法所存在的缺陷,针对模型的可塑性与稳定性的平衡问题,提出了基于特征关系约束的类增量分类方法(Feature Relation Constraint Class Incremental Learning,FRC-CIL)。从表征学习入手,利用旧模型所反映的特征关系结合对比损失函数指导新模型的特征关系学习,使样本间的类内距缩小,类间距扩大,让新旧类别的特征表达更具区分度,从而平衡类增量模型的可塑性和稳定性。本文将IKD-CIL算法、FRC-CIL算法与当前主流的基于样本保留的类增量算法在CIFAR100、Image Net100和Image Net1000图像数据集上进行实验对比分析。实验结果表明IKD-CIL算法在初始类别较少的情况下增量性能最好,FRC-CIL算法在三个数据集上均取得了当前最好的性能表现。
其他文献
大量研究表明,口服具有三螺旋结构的非变性Ⅱ型胶原蛋白能够通过诱导免疫耐受来抑制类风湿性关节炎(RA)和骨关节炎(OA)的发生或缓解关节炎症状。目前,研究较多的非变性Ⅱ型胶原蛋白主要有两种形式,即难溶性非变性Ⅱ型胶原蛋白(IC Ⅱ)和可溶性非变性Ⅱ型胶原蛋白(SC Ⅱ)。IC Ⅱ的溶解性差,但经口服进入体内后,在胃肠消化系统的酶和p H环境的作用下,可能会释放出部分可溶性Ⅱ型胶原蛋白,从而暴露其免疫
数据资源作为当今数字经济时代的核心生产要素和战略资源,对经济发展和社会治理产生了重要的影响。由于数字经济发展时间较短,商业银行数据资产管理仍处于初期探索阶段。本文基于DCAM数据管理框架,结合商业银行特征与数据管理经验,构建商业银行数据资产管理能力成熟度评估模型,深入剖析商业银行现阶段面临的约束性问题,并提出数据资产管理能力提升的实现路径。
基于上下文感知的情绪识别即通过上下文来识别图片中人类的情绪,例如人头、人体和场景。情绪识别有着许多应用场景,包括:安防、游戏、教育、医疗和营销等。基于头部或者身体的情绪识别有很大的进展,近期学者们用多种上下文来进一步提升效果。当前的工作主要通过多支路结构,独立地从头部、身体和场景等上下文提取情绪特征。这样的策略在理解复杂的情绪上下文关系上有限制。根据一些的研究,当前的方法没有捕捉到时序关系、交互关
中国是尿素生产大国,尿素年产量常年稳居世界第一。2020年国内尿素产量已达7000多万吨,而每生产1吨尿素大概会产生0.5吨废水。随着中国对环境保护的要求越来越严格,现在要求尿素厂排放尿素的最大浓度也从之前的100 mg/L降低为10 mg/L。在国际上最成熟和通用的尿素处理方法是热力学水解法,这样处理后的废水其尿素和氨氮含量都可达标排放,但是处理成本非常高,一般仅被中大型尿素生产厂采用。而国内尿
随着PPP模式的发展和应用,PPP模式在许多国家和地区得到广泛应用,PPP项目很大程度上缓解了政府财政压力,提升了公共产品数量和服务质量。截止到2020年10月,我国财政部政府和社会资本合作中心平台显示入库PPP项目达到9742个,管理库项目金额达到151527亿元,项目类型主要涉及市政工程、交通设施、生态建设与环境保护、城镇综合开发、教育、水利建设、旅游、医疗卫生等领域。由于PPP项目建设周期长
现有恒压输出多负载无线电能传输系统拓扑存在传输距离短、带载能力差、交叉耦合干扰严重、输出电压可调性差和可能发生磁饱和现象等诸多问题。为此,本文以拓扑构造作为关键研究内容,提出了3种新型恒压输出多负载系统拓扑,改善了传输性能,从而满足不同应用需求。本文的研究内容和创新点包括:1、剖析了阻抗匹配网络实现恒压输出的基本原理,比较研究各类阻抗匹配网络的优缺点,分析了恒压输出两线圈单负载和三线圈双负载无线电
润滑系统作为发动机七大板块之一,在发动机运行时,可以减小各零件之间的磨损。为确保发动机平稳地运行和正常地工作,润滑油必须具备良好的性能。但是,随着发动机工作时长的积累,润滑油的综合性能也会不断下降,润滑性能大打折扣,构件之间会出现表面磨损、胶合、乃至塑性变形等情况,如果不能及时更换润滑油,会触发更大的危险事故。因此,对润滑油粘度进行在线检测十分有必要,而目前市场上已有的粘度计只能取样测量,而且必须
肿瘤免疫治疗虽取得了突破性进展,但对大多数肿瘤的临床响应率仍较低,这主要是因为肿瘤组织具有较强的免疫抑制性微环境。有效调控肿瘤微环境、逆转免疫抑制是提高肿瘤免疫治疗效果的有效策略,其中实现肿瘤相关巨噬细胞(TAMs)重极化和诱导肿瘤细胞发生免疫原性细胞死亡(ICD)是两类重要选择。药物载体技术是逆转肿瘤免疫抑制性微环境的重要手段,但现有载体材料往往面临药物负载量不高、肿瘤部位富集不足的问题。针对这
高密度、高集成度电子产品要求进一步减小电容器尺寸,提高电容器比电容及电学性能,因此,发展新型薄膜电容成为当下电容器集成技术的研究热点。然而电介质薄膜在厚度减小后,介电常数降低,并且容易出现孔洞,薄膜漏电流增大,各项性能指标恶化,因此单层薄膜电容器已不能满足上述应用需要,利用多层异质薄膜及其增强效应是一个可行的方案。本论文选择铁电、介电性能优异的PZT、BTO薄膜作为研究对象,通过周期结构和电极体系
随着互联网时代的快速发展,移动通信系统中无线设备的需求日益增长,以5G移动通信为代表的移动互联技术正迎来前所未有的高速发展。与目前已商用的5G Sub-6GHz频段的移动通信相比,5G毫米波频段有非常丰富的频谱资源,能够极大地增加无线信道容量和实现较高的数据传输速率,可以为移动通信、工业互联网提供更优质的移动网络接入,具有广阔的应用前景。基于上述背景,本文针对5G毫米波大规模阵列封装天线的设计和高