科技的进步与发展,软硬件的不断普及,上网阅读与评论逐渐变为人们的日常活动,那么网络上也就隐藏着各种有价值的信息。情感分析是自然语言处理领域中一个基础且重要的研究方向,它利用情感分析技术,分析出人们对于某一事物的情感态度,主要包括积极、消极二种情感。传统且大量的研究工作主要是针对文本数据,随着微博、Twitter、Facebook等平台的发展,人们可以轻松的发布图像、视频等信息,研究者们也不局限于文本情感分类,将图像、视频等多媒体信息考虑进来,进行跨模态的情感分类研究。本文使用词向量表示工具word2vec与GloVe模型来表示文本,利用深度学习模型,从文本、图像及两者融合三个方面进行情感分类的研究,具体如下。一、多尺度卷积循环神经网络的情感分类。在这部分,本文利用卷积神经网络方便灵活的提取具有丰富上下文关系的词特征的特点,长短时记忆模型在处理任意句子长度序列和长时间依赖的优点,对英文文本进行情感分类。实验表明多尺度卷积循环神经网络模型相比于其他模型,分类结果有了部分提升。二、结合图像全局与局部特征的图像情感分类。在这部分使用卷积神经网络模型对图像进行情感分类。该模型可以拆分为四个部分的神经网络,第一部分的网络,提取图像的低级特征,第二、三部分的网络,利用提取到的低维特征,再经过卷积、全连接等操作,分别提取出图像的全局特征和局部特征,第四部分,融合图像局部与全局特征,根据得到的融合特征进行图像情感分类。实验表明该模型在与现有的深度学习图像情感分类方法的对比中,获得了更好的情感分类结果。三、基于紧凑双线性融合的图文跨模态情感分类。该模型使用预训练的152层残差网络提取图像特征,使用长短时记忆模型获取文本特征,通过拼接两种特征,经过一些操作产生软注意力图,再与图像特征进行加权求和,得到最终视觉表示。接着使用多模态紧凑双线性融合算法融合视觉表示和文本特征,最后对融合后特征进行跨模态的情感分类。在实验对比分析中,该模型较其它方法取得了较好的分类结果。