图像自动描述是一项结合了计算机视觉与自然语言处理两个领域的综合性任务。该任务很具有挑战性,主要在于图片中的目标、属性、场景以及彼此之间错综复杂的关系和自然语言的灵活多样性。受基于编解码机制的机器翻译模型的启发,基于编解码机制的图像描述模型被提出,并在图像描述任务上取得了很大的性能提升。该算法使用卷积神经网络对图片提特征(编码),循环神经网络作为语言模型来生成图像描述语句(解码)。本文总结了现有图像描述方法的一些不足,并在传统的基于注意力机制的图像描述算法上增加了相关约束,同时探索视觉信息与语义信息之间的一致性与相关性。一致性是指文本语句的上下文关系,当给定上一时刻生成的单词以及当前时刻的视觉信息时,一致性试图最大化预测单词的概率,保证生成描述语句的语法逻辑正确性。而相关性是指视觉信息与文本语义信息之间的关系,保证了图像描述的内容与图片内容更相符,更相关。本文所提出的方法更具一般性,并在两个公共数据集上验证了算法的性能,分别为:Flickr30k和MS COCO。同时使用BLEU-1,2,3,4、Meteor、RougeL和CIDEr共7个评分矩阵来评估算法的性能。实验结果显示,相比于没有考虑相关性约束的算法,本文提出的算法在所有评分指标上都有很大的提升,生成的图像描述语句更具灵活性与多样性。