生成模型的应用?分广泛,可以用来不同的数据进行建模,比如图像、文本、声音等。其中,深度生成模型就是利用深层神经网络可以近似任意函数的能力来建模一个复杂的分布。强化学习作为机器学习领域一大重要组成部分,在机器人控制、机器翻译以及推荐系统上具有广泛应用。传统强化学习通过不断与所处环境进行自主交互并从中得到策略实现决策过程。然而,目前大多数多步决策问题难以给出传统强化学习所需要的即时反馈信号。这也逐渐成为强化学习在更多复杂问题中实现应用的瓶颈。逆强化学习通过专家决策轨迹在马尔可夫决策过程中设计逆向求解反馈函数的优化模型,从而实现针对具体决策问题的反馈信号的求解。目前,通过将逆强化学习算法和经典强化学习策略搜索技术相结合设计的一类示教学习算法已经在机器人控制等领域取得了一系列成果。这其中包括知名的斯坦福自动直升机项目、HVAC控制、自动驾驶控制等。示教学习因其能够学习人类专家的决策行为数据从而进行辅助决策,因此也越来越受到人们的重视。本文首先提出了一种新的生成对抗神经网络结构SSGAN。它将初始生成的流形不能覆盖所有的例子归咎于模态崩溃问题。SSGAN给GANs增加了一个监督信号,使得生成的流形在初始化时与真实的数据流形保持接近。实验结果表明,该方法在视觉质量和模式捕获两方面均优于其他几种最新的GANs训练方法。本文提出了一种新的未知区域感知的模仿学习算法,它只学习专家数据中转换的分布,不与专家数据相比较。演员将更好地从专家演示中捕捉专家行为。我们通过增加一个自动编码器来预测采样状态和专家状态之间的相似性,将GAIL扩展到了UAIL。因此,可以用一种新的标准来训练判别器。这样,策略也可以更好地捕捉专家的行为,降低环境的影响。实验表明,我们的新方法UAIL可以在数个Atari 2600游戏以及多个Mu Jo Co环境上超过GAIL。本文同时介绍了模仿学习在京东电商平台中的应用。为了克服京东网商品搜索RL训练物理成本高的问题,我们采用GAN-SD和MAIL技术,建立了基于历史数据的虚拟京东模拟器。实证结果表明,该模型能够真实反映真实环境的特性。然后在虚拟京东网中,利用所提出的策略训练出更好的引擎策略,结果表明该策略比传统的监督学习方法具有更好的真实环境性能。