目前航站楼中人流量大、工作人员工作负担重,导致每位旅客无法获得及时的服务和旅客发生冲突前不能及时发现并规避风险。针对以上问题,研究了基于自注意力机制的多模态情感识别算法,利用视频、语音和文本三模态信息来识别旅客的情感状态,为贴心服务提供支持。同时,提出了基于多模态情感融合的航空旅客威胁度评估方法,根据工作人员和航空旅客或旅客间的对话中体现的情感状态变化规律识别航空旅客的威胁度,为风险管控工作提供支持。根据上述情况,重点研究了如下三个问题:第一,研究了基于自注意力机制的多模态情感识别算法。采用了自注意力机制进行特征层融合来获得视频、语音和文本多模态情感特征,区分特征的重要程度,体现创新性。随后通过基于多个门控循环单元的多模态情感识别算法实现情感分类。同时采用交互式情感识别参数优化方法调整超参数和优化算法结构,该改进算法有效提升情感识别的准确性。第二,提出基于“现实+艺术再现”形式的多模态情感建库方法。考虑中外表达方法差异、民航类写实电影的贴切性和伪装情感的情况无法解决,以中国民航类写实电影为样本来源,参考IEMOCAP数据库的标注方法,构建民航环境下标注了多模情感状态和威胁度的数据库,使航空旅客威胁度评估在合理再现的情景中进行,体现了创新性。第三,设计了基于多模态情感融合的航空旅客威胁度评估方法。在GloVe方法提取多模态情感状态词向量表示后,通过双向长短时记忆网络进行威胁度评估,体现出创新性。最后,通过学习获得多模态情感识别网络模型和航空旅客威胁度评估网络模型,经过实际应用测试验证这两个模型的有效性。