互联网、物联网和云计算等技术的发展促生了以个体为中心的健康大数据,智能手机以及各种可穿戴设备所记录的以自我为中心的数据连续、客观地记录了个体的生活方式,可以看作个体健康状况的外在表现。通过识别这些健康事件可以实现对个体生活方式的有效量化和实时监测,有助于分析个体健康状况、估计患病风险和进行疾病预防。健康事件识别可以看作人体活动识别中以自我为中心的活动识别的范畴,随着深度学习的发展,基于监督学习的人体活动识别方法取得了突破性进展。然而这种方法往往需要大量的标注样本,耗费人力且难以扩展到少样本甚至零样本的情况,模型泛化能力很弱。零样本学习能够利用已知类别和未知类别之间的相关性,将已知类别数据中的知识迁移用于未知类别的识别,为解决上述问题提供了创新性的思路。目前,大多数零样本学习方法都是研究静态图片的目标识别问题,将此类方法直接应用于视频序列会导致时序信息缺失等问题,最近有些工作开始探索利用时序、光流等信息,但仍忽略了对活动识别至关重要的场景信息,场景往往直接决定了某个活动是否能够发生。另外,现有的零样本学习方法大都集中在视觉领域,没有结合其他模态的信息。针对这些问题,本文在健康事件识别场景下,研究如何有效利用场景信息提高零样本健康事件的识别性能,并在此基础上研究如何进行多模态的零样本健康事件识别。本文主要工作如下:(1)提出了一种融合场景信息的零样本健康事件识别方法,该方法充分考虑了场景信息对于健康事件识别的重要作用,使用物体和场景信息共同为视频实例建立视觉空间,并通过双流图卷积网络显式地建模健康事件、物体以及场景三者之间的关系。场景信息的加入不仅使得实例分支中视频实例的属性特征更加鲁棒,还促进了分类器分支中可见类和不可见类之间的信息传递,提高了对不可见类别的识别能力。(2)提出了一种融合三轴加速度信息的多模态零样本健康事件识别方法,该方法依据不同模态数据之间的语义相关性和信息互补性,将三轴加速度和视频进行多模态融合,并进一步通过一个融合模块抽象为更具判别力的融合特征,促使分类器分支的所生成的分类器更准确,两个分支联合学习、共同优化,提高了零样本健康事件识别的准确率。