生成对抗网络（Generative Adversarial Networks）在合成真实图像和建模方面取得了巨大的成功,它被广泛应用于领域自适应、图像视觉计算、语言处理等方面。在有监督的机器学习或深度学习中,标注样本太少会导致构建的模型易于过拟合、表示能力和泛化性不强。实际中想要获取大量标注样本非常困难且不现实。生成对抗网络在图像生成方面已比较成熟,但是现有生成对抗网络存在不稳定性、模式崩溃和计算效率低等缺点。我们对生成对抗网络展开研究,利用该网络生成样本示例,增强数据集,具有重要的意义。本文针对实际中可能由于数据采集困难,样本标注代价高,难以获得大量训练样本的问题,探究生成对抗网络的优化及其在图像生成和小样本肿瘤识别任务方面的应用。主要研究内容如下:（1）提出了一种基于注意力机制的进化生成对抗网络（Attentive Evolutionary Generative Adversarial Network）,以改善传统生成对抗网络训练不稳定,计算效率低且容易模式崩溃的缺点。在AEGAN中,生成器通过三个独立的突变算子不断进化以抵御当前的环境-鉴别器,并且在每次迭代中只保留适应度高的后代（即生成器）。此外,归一化的自注意（Self-Attention）模块被嵌入到AEGAN的鉴别器和生成器中,以根据特征的重要性自适应地分配权重。进一步地,提出了一种针对AEGAN的学习训练算法。通过该算法,AEGAN克服了传统生成对抗网络仅使用单损失函数和依赖深度卷积的缺点,极大地提高了训练的稳定性和统计效率。在CIFAR-10,Celeb A和LSUN数据集上进行了广泛图像合成实验,以验证AEGAN的性能。实验结果以及与其他生成对抗网络及其变体的比较表明,该模型优于现有模型。（2）以肿瘤图像诊断实际应用为背景,针对面向小样本的无监督领域自适应问题,设计了一个数据集增强的域自适应肿瘤识别的一般模型。首先通过使用标准的数据增强技术和AEGAN来创建更大的源域数据集,使用增强后的数据集当作源域来训练标签分类器,其次,设计了一种基于注意力机制的对抗域自适应来缩小源域和目标域之间的差距,并使用标签分类器来测试目标肿瘤数据集,以提高小样本肿瘤识别的精度。仿真实验表明基于数据集增强的领域自适应方法能有效提高恶性肿瘤图像识别的精度。