图像描述顾名思义,即给定一张图片,算法自动生成一段描述图像内容的文本。该任务对人来说很容易,但对于机器却非常有挑战性。这需要同时用到计算机视觉技术和自然语言处理技术,来实现从图像内容理解到文本生成的转化过程。图像描述应用潜力巨大、在很多方面都很有应用价值,适用于人机交互、图片索引、智能监控、视频标注、视觉辅助等领域。近年来,Encoder-Decoder框架在基于神经网络的图像描述任务中吸引了越来越多的研究者的注意,相关研究取得了巨大的进步。最近,一些研究报道称基于自注意力机制的模型在图像描述任务中取得了当前最佳的效果。相比于传统的RNN模型,基于自注意力的模型通过注意力机制来解决时间依赖问题,故能进行高效的并行计算,并且在语境建模上达到了更好的性能。然而,自注意力需要的计算量与序列长度的二次方成正比。本文主要在Encoder-Decode框架的基础上,结合深度神经网络的相关技术,从改进解码器的性能和训练效率出发,对图像描述算法进行了研究和探索,主要工作和贡献如下:1.建立了基于轻量卷积方法和动态卷积方法的图像描述模型。我们分别将轻量卷积和动态卷积作为自注意力的替代结构应用到图像描述任务中,使得计算量与序列长度成正比。本文第一次将轻量卷积和动态卷积用于图像描述任务中,我们建立的模型相较于基于自注意力的模型计算量更少,训练效率更高,并且其性能也获得了一定的提升。2.在模型中引入了自适应注意力机制,指导模型在不同时刻提取不同位置的图像特征,自适应门的引入也使得模型能根据当前时刻解码器的状态来决定是使用视觉信息,还是使用已经生成的文本的语义信息来预测当前单词。此外,我们还将作为自适应注意力模块输入的图像空间特征融合其对应的二维位置信息来进一步强化模型的性能。3.所建立的模型在MSCOCO数据集上进行了相关的实验,并与基于自注意力的基准模型以及基于CNN的基准模型做了对比,验证了本文模型的有效性。结果表明,该模型较基于CNN的模型具有更优的性能,与当前热门的基于自注意力机制的模型相比仍然很有竞争力。