文本生成图像（Text-to-image Generation）旨在基于自然语言描述的文本生成相关图像,实现从文本模态到图像模态的转化,并保持语义。文本生成图像对于新闻自动配图,用户需求画像等图像生成应用具有重要意义。文本生成图像研究,作为一个交叉问题,涉及到自然语言理解和图像生成两个热门研究领域。该问题的研究也为文本嵌入和生成模型技术提供支撑。当前的文本描述通常是一个描述物体属性的说明性语句,比如“这只带有窄尖鸟喙的鸟是黄色的”。传统的基于组合拼接的方法难以生成细粒度的、视觉表现自然真实的图像。随着深度学习和生成对抗网络的出现,模型能够以端到端的方式,一次性的生成图像。然而当前的图像生成以无条件、基于噪声的居多,目前只有少数工作针对文本条件的图像生成进行了初步探索。当前相关研究就输入文本粒度可分为词级图像生成和句级图像生成两个方向。其中词级图像生成致力于从单个实体词语来生成图像,实体词语通常使用类标记表示,表示孤立且单一,蕴含的信息也难以支撑细节丰富的图像。句级图像生成致力于从单个句子来生成图像,然而当前方法倾向于从整个句子提取嵌入表示,没有考虑到句子中一些实体词语对于目标图像生成的重要性。本文围绕词级和句级两个层次展开研究,并尝试将它们结合起来。论文的主要工作包括如下:1)提出一种基于变分条件生成对抗网络的词级图像生成方法。传统条件生成对抗网络中的生成器将条件向量与噪声连接起来作为输入表示,进行上采样操作逐级放大输出图像。然而潜在的条件信息并未得到充分利用,尤其对于词级图像生成任务而言,其条件向量是一个独热编码的实体词语。因此本文将变分推断技术引入条件生成对抗网络,提出了一种变分条件生成对抗网络模型（Variational Conditional GAN,VCGAN）。VCGAN模型首先从条件输入中推断一个语义更加丰富的隐变量,进而采样获得一个概率的、多样的条件表示来捕获原始条件背后的丰富语义细节,从而提高了图像生成质量和多样性。定性和定量的实验结果表明,VCGAN模型在词级任务上优于以往方法,同时扩展到句级任务上也获得了逼真的可控图像。2)提出一种联合实体知识学习的句级图像生成方法。现有方法通常以端到端的方式对整个句子进行编码来生成图像,没有突出其中的实体信息。然而句子中包括的实体词语对应目标图像中的主要部分,对于生成具有语义对齐、物体清晰的图像至关重要。例如,如果模型掌握“鸟在天上飞”这句话中两个关键实体——“鸟”和“天空”的图像信息,那么将可以更容易地生成包含这两个实体的图像。因此本文提出了一种联合实体知识学习（Entity Knowledge Learning,EKL）的句级图像生成方法,它基于实体信息和句子全局语义联合学习生成目标图像。具体而言,该方法引入一个词级生成网络从实体标记中学习实体知识,并分别尝试在图像特征空间和低维语义隐空间和句级生成网络进行表示融合,以在句子全局表示上突出实体信息,生成实体清晰、与文本描述语义对齐的图像。本文还提出一种新的度量标准——实体匹配评分（Entity Matching Score,EMS）。EMS用于测量生成图像与其对应文本描述的一致性匹配程度。实验结果表明,实体知识联合学习模型可以生成语义对齐更好,实体更加清晰准确的图像,并在两个常用数据集上显著优于基准模型。