视觉是人类感知的主要感官形态,语言是人类与世界交流的最有力的工具。而图像摘要生成技术是计算机视觉和自然语言处理相结合的产物。简单地说,就是给计算机输入一张图片,可以根据图像内容生成一段流利通顺的自然语言描述。图像摘要生成技术在搜索引擎、盲人辅听和智能机器人等领域都取得了良好的应用效果,有着十分可观的应用前景。生成技术主要包括基于模板和基于检索的两种方法,但都存在非常明显的缺陷。最近几年,基于深度学习的方法在图像摘要生成技术中取得了卓越的成就。本文提出了一个全新的图像摘要生成方法,是在已有模型的基础上,针对主要的不足之处对模型进行了改进,所做工作如下:本文基于经典的编码器-解码器框架改进了一种图像摘要生成方法,得到了改进后的AADL(Adaptive Attention Double-LSTM)模型。在图像编码器部分,使用的是卷积神经网络(Convolutional Neural Network,CNN),并加入了属性预测层,这样可以把图像特征转换成高等级的语义表达后,再输入到解码器中,从而提高了模型性能。在语言解码器部分,首先使用了双层长短期记忆网络(Long Short-Term Memory,LSTM),解决了单层网络表达能力较差的缺点,然后引入了自适应注意力机制,作用是解码器在生成描述语句时可以自适应地选择利用图像信息,使得最后得到的语句更加准确。通过仿真实验证明了改进后的模型在MSCOCO数据集上评价得分高于其他主流的图像摘要生成方法。本文引入强化学习对改进后的AADL模型进行优化,AADL模型虽然评价得分已经高于其他主流的图像摘要生成方法,但仍存在问题:第一个是“Exposure bias”问题,第二个是训练时用的目标函数和测试时进行评价的指标不匹配问题。为了解决上述两个问题,本文使用强化学习算法,将改进后的模型作为预训练模型,然后利用策略梯度算法直接优化CIDEr评价指标对模型进行再训练,得到最终的模型。仿真实验证明,强化学习的使用使得模型性能有了进一步的提升。在最后,本文加入了基于改进Seq2Seq模型的英汉翻译。因为中文和英文在语法上的差异性,图像摘要的中文生成难度更大,而且绝大多数的训练数据集都是英文的,如果个人制作中文数据集,那么工作量会非常大。针对这一问题,本文在Seq2Seq模型的基础上进行改进,利用改进后的模型来构建英汉翻译模型,将上一部分生成的图像英文摘要作为输入,得到翻译后的汉语,从而实现了图像的中文摘要。仿真实验证明,本文训练得到的英汉翻译模型在测试集上取得了不错的效果。