强化学习能够让智能体自主地在环境中进行试错学习,是实现人工智能的重要途径之一。然而,目前的强化学习算法尽管在复杂游戏AI控制上已经取得了巨大的进步如Alpha Star和Open AI Five等,但还需要消耗海量的计算资源和超长的训练时间;另外,对于电商之类的现实问题,由于智能体在其线上环境中试错的代价高昂,强化学习方法仍然难以高效地应用于这些场景。本文针对这两个方面的核心问题展开相关研究,取得了如下成果:1、对于星际争霸II这类状态动作空间巨大的复杂游戏,本文提出了结合两层抽象的高效分层强化学习框架。其下层抽象是从专家对局数据中提取的宏动作,能够将动作空间减少数个数量级且保证其有效性;上层抽象是层次化的策略网络结构,由高层策略在固定时间间隔下调用不同的子策略来完成任务,这样有利于的模块化训练和使用。最终,在64*64的地图和有限游戏单位的条件下,本文仅利用一台拥有4块GPU卡和48个CPU核的机器对整个框架模型训练12小时,就实现了对战难度1的内置机器人超过99%的胜率,之后再通过课程迁移学习算法和混合的战斗模型训练1天,实现了对战非作弊下的最高难度(难度7)的内置机器人超过93%的胜率。2、对于电商排序这类在线上环境试错代价高昂的现实问题,本文提出了基于评估器-生成器架构的排序学习方法EG-Rerank。它利用海量用户浏览数据来构建相对可信的评估器,再在评估器的指导下使用强化学习方法来训练生成器,使其生成的排列在评估器中的总得分更高。同时,考虑到评估器的泛化问题,本文在训练生成器过程中增加了判别器的对抗训练,使得生成器生成的新排列分布尽量接近原始的排列分布。经过在国际大型电商平台Aliexpress中一周的线上测试,本文提出的方法EG-Rerank能够在商品的购买转化率上稳定地比目前工业界中效果最好的pairwise类重排方法提高2%以上。