图像描述技术能够将图像转为文本,实现信息的跨模态转换,因此被广泛用人机对话、图文互搜、儿童教育及视力障碍人士的生活辅助等方面。随着通信技术的提升,图像数据开始在互联网中被大量发布及传播,如何自动化地用自然语言描述图像内容,成为当前一大研究热点。本文针对图像描述的自动化生成问题,从基于情感表征的方法、基于局部空间语义信息的方法、基于图像描述的情感分析方法等方面进行深入研究。本文的研究工作主要包括:(1)提出了一种基于情感表征的图像描述方法:本方法基于编码器-解码器模型,先使用多个神经网络模型进行图像特征提取,再使用长短期记忆网络进行句子生成。首先采用现有工具提取图中的情感表征(包括视觉语义和表情),及其对应的矩形边界框。随后将视觉语义信息与表情信息表示为向量,并将之映射到特定的维度,作为LSTM的附加输入并参与训练和预测,从而使生成的句子具有感情色彩并提升图像描述的准确性。实验结果表明本方法能够有效提升图像描述的准确性,并且能够使生成的句子更具感情色彩。(2)提出了一种基于局部空间语义信息与全局信息的图像描述方法:首先使用现有的目标检测模型提取图像中存在的目标及其对应的矩形边界框,然后由注意力模型为每个矩形边界框赋予不同的权重,对双向网格LSTM(bi-Grid LSTM)的输入进行动态加权,从而使之在不同时刻关注不同的区域。实验结果表明本方法能够有效缓解图像描述中易丢失小面积目标的问题,较之现阶段方法性能更好。(3)提出了一种基于图像描述的社交网络数据情感分析方法:首先训练一个图像描述模型作为图像特征提取器,取其生成的描述句子,经过单层卷积作为图像特征。通过多层卷积的方式提取文本特征向量,然后将图像特征向量与文本特征向量进行拼接,输入到全连接层进行预测,从而现对社交网络数据情感倾向的自动化识别。实验证明本方法达到了比之该领域内同类方法更好的性能。