图像描述是计算机视觉和自然语言处理两领域交叉的研究课题,是人工智能中的研究热点,与图像分类、目标检测等图像理解任务不同,图像描述不仅要识别出图像中的目标,而且要理解目标之间的关系,并使用自然语言正确地表达出来,因此图像描述具有很大挑战性。图像描述搭建了一座从视觉通往自然语言的桥梁,在图像检索、人机交互以及智能监控等领域具有广阔的应用前景。本文从注意力机制、解码器和训练方法三方面改进基于深度学习的图像描述模型以提高生成描述的效果,主要研究内容如下:1.提出了基于注意力融合的图像描述模型。直接划分图像得到的空间注意力会导致注意力机制不能准确地选取图像中目标对应的特征。为了解决这一问题,本文提出使用Faster R-CNN作为编码器来检测图像中目标的准确位置,来提高空间注意力的准确性,与此同时利用检测出目标的名称属性,将名称属性作为高层语义注意力与空间注意力来同时指导单词序列的生成。在MSCOCO数据集上的实验结果表明基于注意力融合的图像描述模型的性能超过了基于空间注意力的图像描述模型,而且优于多数主流图像描述模型,说明了基于Faster R-CNN的注意力融合的图像描述模型的有效性。2.使用卷积神经网络作为解码器提高基于注意力融合的图像描述模型的训练速度。循环神经网络无法并行计算会导致模型的训练速度过慢,而且在处理长序列时存在的信息丢失问题。为了循环神经网络存在的问题,提高模型的训练速度,本文使用掩膜卷积神经网络结合线性门控单元作为基于注意力融合的图像描述模型的解码器,卷积神经网络可以并行处理数据,计算更加高效,其层级结构能够更好地捕获和处理句子中复杂的关系。在MSCOCO数据集上的实验结果表明卷积神经网络解码模型比循环神经网络解码器模型的训练速度提高了1.5倍以上,生成描述的效果相近,说明了基于卷积神经网络的解码器的有效性,能够提高模型的训练速度。3.使用强化学习方法进一步优化基于注意力融合的图像描述模型。使用交叉熵损失训练模型的方法存在曝光偏差问题和衡量标准不一致问题,会分别导致生成的描述与图像内容不符和在训练时无法充分优化评价指标。为了解决交叉熵训练方法存在的问题,进一步提高基于注意力融合的图像描述模型生成描述的效果,本文使用强化学习方法训练模型,训练时解码器的输入和测试时保持一致,将评价指标作为奖励函数,先使用交叉熵损失训练模型至稳定状态,再使用REINFORCE算法直接优化评价指标对模型进一步训练,在MSCOCO数据集上的实验结果表明使用强化学习方法可以显著地提高模型的在各评价指标上的得分,这说明了基于强化学习训练方法可以进一步提高模型的性能。