在人工智能领域,图像描述任务的目标是将给定的一张图像输入机器中,机器能够生成符合人类表达的自然、流畅的语言。这对人们来说是非常简单的,但是对于机器而言却是极其困难,它不仅仅需要机器能够准确识别图像中所包含的目标,还需要捕捉目标的属性以及目标间的动作关系。因此图像描述任务一直也是计算机视觉和自然语言处理领域的研究热点。近年来,受机器翻译任务的启发,视觉注意力机制已经被广泛地应用在图像描述任务中。然而,对于背景复杂的图像,大多数模型生成的描述语句质量不高,甚至出现与图像内容毫不相关的问题。另外大多数方法都强制对生成的每个单词进行主动的视觉注意,然而,解码器可能不需要关注图像中的任何视觉信息就可以生成非视觉单词,比如“the”和“of”等非语义信息的单词在图像中并没有与之对应的区域,解码器只需要依赖于语言模型就可以生成非语义单词。最后传统图像描述任务中常常会面临曝光偏差问题,同时大多数模型在训练时都是采用交叉熵损失,而在测试时采用自然语言处理领域中的评价机制来衡量模型,出现度量不一致的问题。本文主要的研究内容如下:1、设计了一种结合自底向上和自上而下注意机制的图像描述模型。在自底向上注意模型中采用Faster R-CNN提取图像中的一些显著区域,每个区域都用一个相同维度特征向量来表示。然后在长短时记忆网络中引入自上而下的注意力机制来生成图像特征的注意力权重,在每一个时间步长都通过视觉注意力关注图像特征来生成描述语句。最后在MSCOCO数据集进行验证,实验结果表明该模型有效地提升了描述语句的质量。2、设计了一种自适应注意图像描述模型。首先介绍了一种新的空间注意模型来提取图像特征。然后在长短时记忆网络中引入一个视觉监督信号,在每个时间步长,可以自动决定何时依赖于视觉信号,何时仅依赖于语言模型。最后在Flickr30K数据集和MSCOCO数据集上进行验证,实验结果表明该模型在BLEU、ROUGE、METEOR和CIDEr四种评价指标中均获得了最高分数,与结合自底向上和自上而下注意机制的图像描述模型相比,该模型在四种评价指标中的分数提高了3%~5%。3、研究了一种自批判序列训练方法。直接将不可微的度量作为目标函数来训练深度的端到端模型,测试时采用推理算法来标准化奖励,而不是通过估计基准来标准化奖励。实验结果表明在测试时使用自批判序列训练方法和贪婪解码直接优化CIDEr是非常有效的,最终在MSCOCO数据集上将模型的CIDEr分数从1.149提升到1.277。