随着信息技术的快速发展和移动互联网的普及,人们的生活方式和沟通交流方式发生了翻天覆地的变化,越来越多的人通过自己的社交网络账号以文本、图片等方式来表达自己的观点和情感,使得互联网成为涉及广泛主题的意见和情感的资源库。针对社交媒体数据的用户情感分析是理解用户个体行为的关键,其研究能够为政治选举、股票市场分析、影片票房预测、心理医疗健康和网络口碑营销等领域提供有效的参考,具有重要的现实应用价值。相比较文本或者图片等单模态数据而言,综合考虑这些多模态数据能为用户的情感分析提供多维度的信息补充,能更加准确的反映用户的情感倾向。传统的情感分析工作主要针对图片或者文本等单模态数据,近年来逐渐有研究者开始考虑图片文本联合情感分析,但这类工作仅仅考虑简单的特征融合技术或者决策融合技术,在复杂多变的多模态社交媒体数据中效果有限,难以实现精确的情感分类。综合考虑图片文本对中存在的语义对齐关系,以及其对于联合情感分析的贡献不一致等特性,对于提高用户的情感分析性能具有重要的作用。针对已有研究的不足,本文将从社交网络中用户发布的图片文本对数据普遍存在的特性出发,基于深度神经网络技术和注意力机制,分别设计两个不同的模型,提升图片文本联合情感分析的性能。对于给定的图片文本对数据,论文的具体工作如下:1)考虑图片和文本对于联合情感分析的贡献的差异性,提出基于情感上下文的跨模态注意力机制,设计神经网络模型,分别为图片和文本特征分配不同的权重来衡量其对于用户情感分析的贡献大小,然后通过加权求和得到图片和文本的联合特征,进而训练分类器实现高效的情感分类。2)考虑图片的局部区域与文本的单词和短语之间存在不同粒度的对应关系,使用双线性注意力机制来度量这种相关性,并提出注意力迁移学习机制提升其度量的准确性,然后设计多模态卷积神经网络捕捉两个模态间多粒度的语义匹配关系和情感交互特征,得到不同粒度的图片文本联合特征表示,最后拼接所有粒度的联合特征,训练情感分类器,更加精确的分析图片和文本的联合情感。为了验证提出模型的性能,本文分别从Flickr和GettyImages社交网站构建了两个大规模图片文本数据集,进而训练提出的模型和已有模型,基于多个评价指标综合评估和对比不同模型的性能。实验结果显示在情感不一致的图片文本对数据中,基于跨模态注意力机制的联合情感分析模型的分类性能优势较为显著,而基于多粒度图片文本注意力机制的联合情感分析模型则在图片文本联合情感分析任务上达到了最佳的性能,同时也证明了短语比单词更适合与图片局部区域进行交互。