深度强化学习(Deep Reinforcement Learning,Deep RL)是人工智能领域的一项新兴且热门的技术研究,其以通用形式将深度学习的感知能力和强化学习的决策能力相结合,关键特点是通过端到端的自主学习方式,实现从高维度的原始数据输入到决策输出的直接控制。基于Deep RL的机器人自主学习技术能够根据输入传感信号直接进行控制,能赋予机器人更简易的编程方式并具备强大的泛化能力,是实现机器人智能作业的重要途径。目前基于深度强化学习的机器人自主学习已经获得突破性进展,但仍然存在样本复杂度高、学习时间长、学习效率低等问题,难以将其广泛应用于现实机器人操作场景。本文综合分析前人在Deep RL与机器人技术相结合的方法与应用,针对机器人自主学习在高维连续状态与动作空间下,传统Deep RL算法在基于稀疏型奖励引导的多目标操作任务所面临的样本复杂度高、学习难以收敛等问题,提出一些改进算法与方案,以提高机器人自主学习效率与操作的稳定性。本文的主要研究内容包括以下几个方面:1.针对机器人自主学习的效率低下、不稳定与策略缺乏泛化能力等问题,提出了不变性转换经验回放(Invariant Transform Experience Replay,ITER)的机器人学习框架,该框架的核心思想是在不改变所采样到的转移样本的动态规律的前提下,对所观察到的转移样本进行数据增强,产生出更多有效的转移样本,以提高样本利用效率。2.基于上述所提出的机器人学习框架,设计出两种子算法:首先是基于空间转换不变性的万花筒式经验回放(Kaleidoscope Experience Replay,KER)算法,其对机器人状态信息进行对称及旋转等空间不变性经验回放映射,以增强该数据集动态规律的泛化性;其次是基于多目标操作任务与稀疏型奖励导向的目标增强经验回放(Goal-augmented Experience Replay,GER),其利用任务成功所定义奖励函数的松散性,对从经验池中随机抽取的状态转移样本中的目标变量进行数据增强,克服Large Batch更新效率低下的问题。3.搭建了用于理论验证的仿真实验平台,通过多项不同的机器人操作任务对本文所提算法展开了仿真实验验证,分析并总结其相比于现有经典算法在学习效率与学习稳定性方面的性能优势。实验结果表明本文所提算法相比现有经典算法,在同等实验条件下对机器人在多项不同操作任务中的学习效率提高了5至13倍;并且在具有障碍物的机器人操作任务中取得了突破性的学习表现。4.根据学习过程中所发现的病态学习现象提出3种原因假设,并展开理论分析,最后从理论与实验上验证了是深度确定性策略梯度算法而非万花筒式经验回放算法导致了病态学习现象,进一步证明了本文所提算法的适用性与稳定性。5.最后,借助ROS系统搭建了真实Baxter机器人控制系统,该系统的控制策略为基于不变性转换经验回放算法所学习到的Deep RL策略,并基于此进行了最为经典与常见的机器人操作任务实验——“拾取与放置”,结果表明了所提方法在真实机器人上应用的有效性和可靠性。