随着互联网、新媒体和移动设备等技术的爆发式增长,网络中充斥着大量因缺乏标注而难以发挥其价值的图像,图像语义理解作为计算机对图像内容解释以及描述的关键性技术,能够有效解决图像标注不完善等问题,并广泛应用于图像检索、图像标注、图像解析等领域。深度学习在图像语义理解上有着广泛的应用,但由于在前期的研究中忽视了图像和语料库中场景因素对描述语句的重要影响,导致现有神经网络模型的图像描述效果不理想,同时,由于之前的文本生成模型层级较浅,难以充分利用图像特征生成描述语句,在一定程度上也影响了语句的准确性和丰富性。针对上述问题,本文对图像特征提取、语料库信息提取以及描述语句生成模型进行了研究和改进,具体工作如下:(1)在图像特征提取部分,为了更好地获取图像中的场景、人物、物体以及它们之间的关系,针对数据集中缺少场景和物体信息的情况,本文提出了一种基于迁移学习的图像场景提取方法,用于构建更具场景特征提取能力的模型。该模型首先分别在大规模场景数据集Places365和大规模物体数据集Image Net上训练Res Net和Faster R-CNN模型,然后将参数迁移至本模型中,实现图像场景特征和物体特征的提取,这两种特征相互优化相互完善,物体特征补充了场景信息,场景特征明确了物体信息,使图像文本描述更加准确丰富。(2)在语料库场景信息提取部分,为了更好地描述场景信息,准确使用与场景对应的词汇,本文提出了语料库场景信息提取算法,利用LDA对语料库中的文本进行分析,通过文本中的词汇识别场景,得到文本中场景与词汇之间的联系,使模型在新图像生成描述过程中大概率使用与该图像场景相关的词汇,一定程度上缩小了生成图像描述时词汇的选择范围。(3)在描述语句生成部分,为了充分利用前面获得的图像、语料场景信息以及物体信息,本文引入双层LSTM,通过使用两层LSTM单元之间的上下文信息,增强了模型对图像场景信息和语料库场景信息的复用程度,使底层LSTM能够更好地将图像中的一些具体信息(例如场景、物体及其属性)传递到顶层LSTM,进而在文本描述时大量且准确地使用与场景相关的词汇,解决了单层LSTM描述能力有限、生成语句准确率较低的问题。最后将本文提出的方法分别在Flickr8K、Flickr30K、MSCOCO数据集中进行实验验证,并且使用BLEU、METEOR、ROUGH-L和CIDEr-D四种指标评估分析。实验结果表明,本文融入图像场景、物体信息以及语料库场景信息后,描述语句的准确率得到明显提升,尤其在MSCOCO数据集上,BLEU-1指标相较于原始模型增幅达到11.4%,与经典模型Deep-Vis对比,增幅也提升17.1%。由此可见,本文所提模型效果显著,相较于原始模型,性能得到很大提升,与其他主流方法相比,也有一定的优势。