论文部分内容阅读
深度学习在过去十年中取得了前所未有的发展,在计算机视觉等多个领域取得了巨大的成功。然而当前深度学习方法依赖于大量的标注数据,限制了其在很多数据有限的实际场景中的应用。迁移学习是解决数据有限问题的一种比较流行的学习范式。在迁移学习中,深度模型将在数据丰富的源任务中学习到的知识,迁移到数据有限的目标任务中,从而降低了自身在目标任务上对大量标注数据的依赖。本文聚焦于迁移学习中一类非常重要且常见的问题:零样本迁移学习问题。与传统迁移学习不同,零样本迁移学习的目标是,在标注信息或者数据量为零的条件下,实现将源任务中所学的知识有效迁移到目标任务中。本文依次研究了三种类型的零样本迁移学习问题:目标任务上有数据但零标注的直推式零样本迁移学习、目标任务上零数据零标注的归纳式零样本迁移学习、以及源任务上零数据零标注的模型迁移性度量。具体工作如下:1.在直推式零样本迁移学习方面,现有方法训练后的模型往往存在映射偏移问题,即容易将目标类别数据误分类为源类别。本文提出了一种基于无偏嵌入空间的直推式零样本迁移学习方法,以解决此映射偏移问题。为了充分利用未标注的目标数据,本文同时还提出了一种准全监督学习机制,使得模型在解决映射偏移的基础上,能够提升在源类别以及目标类别数据上的识别效果。2.在归纳式零样本迁移学习方面,现有方法中人工属性具有一定的不完备性,阻碍了知识从源类别到目标类别的迁移,导致了零样本分类器准确度不高,应用到实际问题中风险较大。本文提出了一种基于属性自动增强的归纳式零样本迁移学习方法,通过字典学习自动挖掘人工属性之外的剩余属性,以构建更加完备的属性空间。此外,本文还提出通过选择性分类的方式解决零样本分类问题,以降低零样本分类器在实际应用中的预测风险。3.在零样本条件下模型迁移性度量方面,现有迁移学习方法在多个预训练的深度模型可用时,无法选择最优的预训练模型,也无法选择最优的特征提取层。本文提出了一种可解释、可比较的知识表示形式,称为深度归因图谱,以研究深度模型从异构任务中学到的知识的可迁移性。即使没有训练数据,该方法也可以度量不同模型或者同一模型不同层提取的特征的可迁移性。本文按照源任务与目标任务数据总量从多到少、任务由易到难的顺序依次对上述零样本迁移学习问题展开了研究,取得了出色的研究成果,很好地补充与完善了当前零样本迁移学习方向的研究。