伴随着人工智能领域的快速发展,日常生活中的方方面面都有了深度学习的身影。其在计算机视觉,自然语言处理,多智体强化学习等方面都发挥着至关重要的作用。由于深度学习网络参数众多,往往需要足够多的标注数据进行训练,才能避免过拟合问题,从而得到具有一定泛化能力的模型。然而受限于高昂的标注成本和数据稀缺等一系列问题,如何利用少量的标注数据进行深度学习逐渐引起了人们的高度关注。现有的小样本学习方法主要聚焦于图像分类领域,意在学习一个分类器来预测图片所属的类别。现如今小样本学习在传统图像分类设定下的研究成果众多,相比之下,其他更具有实践意义也更为困难的领域则发展缓慢。本文主要聚焦于小样本学习领域中的零样本学习和小样本增量学习两个子领域。其中前者试图对没有任何标注数据的类别进行分类,该设定可以很好地处理由于隐私等问题造成的标注数据缺失。而后者则想要为不断到来的小样本流数据训练分类器,来为模型提供增量学习能力,适应数据不断到来的现实场景。在零样本学习方面,本文提出的基于异构图知识迁移算法（Heterogeneous Graph for Knowledge Transfer）针对现有模型数据关联利用效率低下的问题,在构建数据关联时利用语义模态信息同时考虑类内和类间的关系,构建出异构图拓扑结构来准确地表达数据间的关联信息。同时本文基于构建后的异构图,采用图神经网络学习从语义空间到视觉特征空间的反向映射,既缓解了零样本学习中的枢纽点问题也有效地对知识进行迁移,通过利用邻居信息准确地表示看不见的类别。在小样本增量学习方面,针对现有类别标注数据不足和模型面临灾难性遗忘两个难题,本文提出了多模态多模型小样本增量学习算法（Multi-Modal Multi-Model Few-shot Incremental Learning）。本文通过引入语义模态信息并和视觉特征信息相融合,引导模型学习出更准确的决策边界。同时本文通过利用多个历史模型进行知识蒸馏约束现有模型的学习,来更有效地缓解灾难性遗忘的发生。此外,本文将整个小样本增量学习建模成双层优化问题,并通过交替迭代的学习方式得到更好的效果。本文主要贡献点如下:1.本文针对当前主流零样本学习算法中数据关联利用效率低下的问题,提出了根据语义模态信息构建异构图的方式来同时利用类内和类间的关联信息,更加准确地建模数据之间的拓扑结构。同时,本文通过在Wasserstein度量下选择代表节点构建类间关系,使得选取的代表节点更能反映出该类别具有的共有特征,从而有利于分类器决策边界的学习。2.本文提出的基于异构图知识迁移算法是基于图神经网络的归纳式零样本学习算法,其在训练过程中对测试数据的任何信息都不可见。基于构建后的异构图,本文学习得到嵌套函数和聚合函数,对于测试类别通过聚合其邻居信息,准确地获得测试类别在嵌套空间中的相对位置,进而提高模型的分类准确率。本文提出的基于异构图知识迁移算法在多个公开数据集上取得了不错的实验效果,充分说明了该算法的有效性。3.在小样本增量学习领域,本文通过将语义模态信息和小样本视觉特征信息相融合,利用两种模态的信息学习决策边界,使得模型能够在增量学习阶段为新到来的类别学习得到效果不错的分类器。此外,由于单一历史模型并不足以提供足够的约束信息,本文还提出了多模型知识蒸馏损失,通过多个历史模型共同约束指导现有模型的学习,更有效地缓解灾难性遗忘的发生。4.本文提出的多模态多模型小样本增量学习算法将小样本增量学习建模成双层优化问题,通过对上层防止模型灾难性遗忘优化目标和下层增量阶段分类器学习优化目标的交替迭代求解,得到了准确率更高的模型,并在多个公开数据集上取得了不错的效果。此外,各种消融实验也验证了算法各个模块的有效性。