基于深度模型的零样本迁移学习

来源 :浙江大学 | 被引量 : 0次 | 上传用户:flame_earth
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习在过去十年中取得了前所未有的发展,在计算机视觉等多个领域取得了巨大的成功。然而当前深度学习方法依赖于大量的标注数据,限制了其在很多数据有限的实际场景中的应用。迁移学习是解决数据有限问题的一种比较流行的学习范式。在迁移学习中,深度模型将在数据丰富的源任务中学习到的知识,迁移到数据有限的目标任务中,从而降低了自身在目标任务上对大量标注数据的依赖。本文聚焦于迁移学习中一类非常重要且常见的问题:零样本迁移学习问题。与传统迁移学习不同,零样本迁移学习的目标是,在标注信息或者数据量为零的条件下,实现将源任务中所学的知识有效迁移到目标任务中。本文依次研究了三种类型的零样本迁移学习问题:目标任务上有数据但零标注的直推式零样本迁移学习、目标任务上零数据零标注的归纳式零样本迁移学习、以及源任务上零数据零标注的模型迁移性度量。具体工作如下:1.在直推式零样本迁移学习方面,现有方法训练后的模型往往存在映射偏移问题,即容易将目标类别数据误分类为源类别。本文提出了一种基于无偏嵌入空间的直推式零样本迁移学习方法,以解决此映射偏移问题。为了充分利用未标注的目标数据,本文同时还提出了一种准全监督学习机制,使得模型在解决映射偏移的基础上,能够提升在源类别以及目标类别数据上的识别效果。2.在归纳式零样本迁移学习方面,现有方法中人工属性具有一定的不完备性,阻碍了知识从源类别到目标类别的迁移,导致了零样本分类器准确度不高,应用到实际问题中风险较大。本文提出了一种基于属性自动增强的归纳式零样本迁移学习方法,通过字典学习自动挖掘人工属性之外的剩余属性,以构建更加完备的属性空间。此外,本文还提出通过选择性分类的方式解决零样本分类问题,以降低零样本分类器在实际应用中的预测风险。3.在零样本条件下模型迁移性度量方面,现有迁移学习方法在多个预训练的深度模型可用时,无法选择最优的预训练模型,也无法选择最优的特征提取层。本文提出了一种可解释、可比较的知识表示形式,称为深度归因图谱,以研究深度模型从异构任务中学到的知识的可迁移性。即使没有训练数据,该方法也可以度量不同模型或者同一模型不同层提取的特征的可迁移性。本文按照源任务与目标任务数据总量从多到少、任务由易到难的顺序依次对上述零样本迁移学习问题展开了研究,取得了出色的研究成果,很好地补充与完善了当前零样本迁移学习方向的研究。
其他文献
在全球范围内,医药是一种特殊的商品,为了确保药品的安全性,以及价格的低廉性,本文从现代医药物流的角度对药品流通成本进行研究,首先阐述医药行业发展现代医药物流的意义,然
高中学习中,生物的学习是较为枯燥的,高中生在学习过程中对于生物题目的解题思维上有一定的障碍,主要是由于在解题过程中未曾明确题目的主体信息,同时,对于生物的知识未能够
我认为中国广告业应该是回暖了,因为广告业是经济发展的晴雨表,就我们企业来说,今年的广告费投入比去年多,我们从对市场的预测中也感觉到市场容量和政策支持都使得市场向好的
改编自姜戎的小说的电影《狼图腾》,是中法合拍的一部新世纪少数民族文化题材的影视作品。电影《狼图腾》的目标受众是全球不同文化、不同种族的观众,但是,从在各国上映的票房和
【目的】研究小麦、玉米、大豆、棉花4种农作物在陇南山区的气候适宜种植程度,对该区种植业的发展提供可行性建议。【方法】以农作物生长发育所需的温度和降水量为基础,运用
目的对流感流行季节发热患者临床特征进行分析,为临床诊疗及有效应对季节性流感提供依据。方法对象为某院2017年12月15日-2018年1月15日期间就诊的200名发热患者,其中甲型99
<正>中国古钱品种之多,堪称世界之最。全世界没有一个国家能超越中国五千年的悠久货币历史,更没有一个国家能拥有多达数万种的古钱品种,因此中国古钱收藏家常常因此而自豪,为
期刊
1案例资料2004年6月7日,于某(女,34岁)死于一建筑材料保温厂装有苯板颗粒的水泥坑内.面积4m&#215;3m,深达2m,内有苯板颗粒深约1.6m,余无其它物质.
目的探讨高频通气治疗新生儿气胸的临床效果。方法76例新生儿气胸患儿,随机分为研究组及对照组,各38例。研究组采用高频通气治疗,对照组采用常频机械通气治疗。比较两组治疗
“维多利亚的秘密”(VICTORIA&#39;SSECRET,以下简称“维秘”)于2018年11月8日晚在纽约Pier94盛大开秀,2018年的大秀名叫“维多利亚的秘密秀假日特别节目”,并于北京时间12月