随着数据收集能力的提高,我们可以获得越来越多的多模态数据。在实际应用场景中,往往存在着模态不平衡现象:不同模态对于任务的重要性不同,与任务强相关的模态称作强模态;与之对应的,与任务弱相关的模态称其为弱模态。在模态不平衡环境中,会出现不同模态的预测精度不同、不同模态的抽取代价不同等现象。本文基于模态不平衡环境下的多模态学习问题做出以下工作:第一,本文提出一种带有敲除技术的固有模型复用框架FMR(Fixed Model Reuse)。固定模态抽取代价,统一使用弱模态进行预测,FMR通过利用在强模态上提取好的特征(固定特征)以及训练好的模型(固定模型)指导弱模态模型的构建,从而提高弱模态所对应的模型的判别性。训练阶段,在固定模型及固定特征的辅助下,弱模态利用深度网络同时学习类别标记和固定特征信息,来增强模型的判别能力,通过敲除技术逐渐削弱固定模态和网络之间的关联,从而在训练的最后阶段,得到和测试阶段一致的网络。测试阶段,仅输入弱模态即能进行预测。固有模型的复用能够有效减少训练阶段所需带标记样本数,减少训练时间开销,同时减少对专家知识的需求。第二,本文提出了一个端到端的样本自适应序列化模态选择方法DMP(Discriminative Modal Pursuit)。给定模态抽取代价预算,根据样本特点自适应地增加强模态,从而提高模型的判别性。DMP利用长短期记忆网络LSTM(Long Short-Term Memory)进行模态提取,在LSTM的每一次循环中,根据预测模态与当前模态之间的距离以及当前模态预测的好坏来进行模态选择。如果当前模态预测效果好则选择与其相近的模态,进一步肯定预测,反之,选择差异大的模态来多样化模态输入,从而提升预测效果。如果当前预测置信度达到设定阈值,或者所选模态开销达到设定的代价预算,则停止进一步的模态选择。DMP可以针对每个样本,自适应地抽取模态子序列,从而减少预测阶段模态收集开销。