遥感图像描述生成任务旨在让计算机识别和理解图像的内容并自动生成相应的文本描述语句,它融合了计算机视觉和自然语言处理两个领域。其在遥感技术的很多应用场景,比如军事情报生成、信息检索、资源调查、灾害检测等都起着关键作用。不同于场景分类和目标检测这样的图像理解任务,图像描述生成不仅要识别图像中的对象和属性,还要建立两者间的关系,并生成符合人类规范的自然语言描述语句。受益于人工智能的蓬勃发展,深度神经网络在特征提取方面取得的成效极大地提高了生成图像描述语句的质量。但由于遥感图像自身存在的大场景成像、背景复杂多样、多尺度、旋转特性以及类别歧义问题,进一步加大了图像描述生成的难度。本文主要针对遥感图像场景语义难理解和多尺度的问题,以编码器-解码器为基础,提出了一个基于多层次注意力和视觉自适应的遥感图像描述生成模型MLVA-Net,主要工作如下:针对遥感图像多尺度和类别歧义特点,本文在编码器引入了一个多级注意力模块来优化CNN所提取的图像视觉特征,得到更抽象的深层图像特征。其通过空间和通道注意力机制来学习图像特定位置和不同尺度的特征,从而提升了模型的性能。针对CNN中卷积层在传播阶段视觉特征信息的丢失使得网络难以学习图像完整的语义信息问题,本文在编码器端设计了一种融合多层次特征的上下文注意力模块,其通过集成低层和高层的特征来提取图像中包含的语义信息,达到局部特征和全局特征之间的信息互补,从而提高了图像描述语句的多样性。针对遥感图像视觉特征与文本属性信息之间的语义歧义问题,本文提出了一个基于视觉自适应的LSTM解码器,通过引入视觉哨兵机制来实现对视觉信息和上下文信息的自适应选择,生成更具有判别力的描述语句,从而提高了图像描述语句的准确性。最后,本文从定量和定性的角度,通过消融实验、对比实验以及可视化效果来验证提出的MLVA-Net模型的有效性。在4个数据集UCM-Captions、Sydney-Captions、RSICD、和NWPU-Captions上通过图像描述生成5个常用的指标来评估模型。实验结果显示,本文提出的MLVA-Net在性能上具有较强的鲁棒性和泛化性,可以从背景复杂的遥感图像中生成更具判别力的描述语句。另外使用多层次注意力增加了对较小区域的关注,视觉哨兵实现了图像和文本的语义对齐,得到内容更准确、表达更丰富的遥感图像描述语句。