情感识别是机器学习、信号处理、计算机视觉等领域的一个重要的实践和理论研究热点。先前的大量传统研究专注于特征的提取和分类方法的应用,例如隐马尔科夫模型、支持向量机和深度学习方法。尽管这些方法已经取得了良好的效果,但是传统的方法仍存在一个通用的问题,即假设每个人类情感都与一个或多个预定义的基本情绪标签相关联。然而它们忽略了一个事实,即一个情感实例通常包含多种情绪,并且是以不同程度混合组成。针对这个问题,学者们提出将标记分布学习框架应用到情感识别中,并命名为情感分布学习。与以往的情感分类研究不同,标记分布学习框架为一个情感实例指定了一组带有描述度值的标签,对情感的描述更加明确。现在,标记分布已经能够较为成熟地运用在情感识别问题中了,但是想要更加准确稳定识别情感仍然是一个难题。因此,为了提升学习性能,本文分别对标记分布学习和情感分布学习展开了进一步研究。第一,本文提出了一种基于标记排序的标记分布学习算法。与多标记相比,标记分布学习的优势体现在以下定量方面:（1）标记分布给出了标记和示例之间的关联程度,（2）标记分布隐含地给出了不同标记和示例关联的强弱关系,即标记的序关系。现存的所有标记分布学习方法都旨在尽可能地去拟合真实标记空间中的描述度值,只利用了标记分布的第一层优势,而忽略了标记间的序关系,这将损失标记分布中隐含的一些有用的语义信息,从而降低标记分布学习的性能。因此,本文通过引入标记排序损失函数来解决该问题。另外,为了更加全面地评价标记分布学习算法,同时验证排序损失函数引入对维护序关系的有效性,本文还引入了关于标记排序的评价指标。13个真实数据集上的实验结果验证了本文所提方法的有效性。第二,本文提出了一种基于多模态的情感分布学习算法。现有的情感分布学习方法在情感识别问题上已经展现出强有力的表示能力,但是它们都是基于面部表情或某单一模态来完成的。在现实世界中,只通过单模态信息进行情感识别时具有一定片面性,且可能产生错误结果。因此,为了弥补单模态信息维度的不足,本文首次将多模态信息引入到情感分布学习中。首先,为每个模态各学习一个标记相关性矩阵;其次,利用希尔伯特-施密特独立标准约束多个模态的标记相关性矩阵一致;最后,通过简单的融合策略获得最终的情感分布。另外,作为多模态情感分布学习的先驱研究,本文还提取了多模态情感分布数据特征,为现在以及后续的相关研究奠定了基础。实验结果表明,该方法优于现有的一些多模态情感识别方法和单模态情感分布学习方法。第三,本文实现了一个基于多模态情感分布学习算法的音视频情感识别系统。用人脸特征或声音特征的自动情感识别系统已经得到了极大程度的探索,但结合着两种方式的研究相对较少。大量实验研究表明,视频和音频两种模态的结合将产生更好的性能。基于此,我们利用本文提出的多模态情感分布学习算法实现了一个音视频情感识别系统。该系统采用浏览器/服务器的架构开发,为人类情感识别的各个阶段提供了可视化操作,并且可以实现模型的重复使用。