图像描述是机器将一张图像自动翻译为一句人类能够理解的句子,它是一个涉及计算机视觉、机器学习和自然语言处理的基本问题。图像描述问题是近年来计算机视觉领域研究的热点问题,系统不仅要识别图像中的物体,还要理解物体的属性、位置以及图像中物体之间的关系,然后将这些信息通过自然语言处理转换为具有一定语法结构的句子。图像描述在帮助有视觉障碍的人减轻视觉障碍、婴儿早期教育、图像自动标注和图像检索方面有重大意义。随着深度学习的发展,利用深度学习解决图像描述问题是目前使用最广泛且最有效的方法。本文提出的图像描述模型是基于深度学习的方法,分别提出了基于GoogLeNet和双层GRU的图像描述模型、融合空间变换网络和残差网络的双层GRU图像描述模型。本文研究内容安排如下:(1)介绍图像描述工作的背景和意义,详细介绍了图像描述的国内外研究现状、主要方法以及图像描述工作的作用和意义。(2)介绍了图像描述中的主要技术,包括卷积神经网络、循环神经网络的原理和发展历程,并介绍了模型训练过程中经常使用的优化算法和防止过拟合技术。(3)本文提出基于GoogLeNet和双层GRU的图像描述模型(简称G-GRUs),在“编码”阶段使用GoogLeNet提取图像特征,在“解码”阶段使用结构简单、计算复杂度低的GRU网络模型,并使用双层GRU网络构建语言模型,双层GRU网络结构对单词序列有更好的记忆能力,提高模型生成句子的准确率和表达效果;同时在训练阶段使用AdamW优化算法,与其他优化算法相比,AdamW优化算法具有高计算速率、收敛速度快和提高模型性能等特点,实验证明G-GRUs模型训练速度快,模型训练时间短,并且生成的句子准确度也有明显的提高。(4)本文提出融合空间变换网络和残差网络的双层GRU图像描述模型,是在G-GRUs模型的基础上进行优化和改进,将图像编码阶段的GoogLeNet优化为空间变换网络和残差网络相结合的方式,图像解码阶段仍采用双层GRU构建语言生成模型。图像编码阶段,先将输入图像送入空间变换网络中,使得空间变换网络可以直接对输入图像进行仿射变换,使得图像在输入模型的最初阶段就能有效地学习图像的平移、缩放、旋转等空间不变性,同时克服了图像在卷积过程中发生形变的问题,提高整个模型的空间鲁棒性;然后将空间变换网络的输出送入到网络层数更深的残差网络中进行图像的特征提取,使得提取到的图像特征更加准确化和形象化,然后将提取到的图像特征送到双层GRU结构中生成图像对应的描述。实验表明使用融合空间变换网络和残差网络的双层GRU图像描述模型在各个评价指标上均高于G-GRUs模型,并且生成的图像标题形象化和多样化,更贴合人类的语言习惯。