控制机械臂在不确定环境下完成特定复杂任务一直以来是一个非常具有挑战性的问题。传统控制方法往往十分依赖系统模型,然而该模型常常具有高阶次、非线性、多变量和强耦合等特点,很难使机械臂系统具备良好的适应性及一定自主性。强化学习作为一种人工智能技术,因其具备在未知环境下,通过系统与环境的自主交互,进行策略学习的能力受到了国内外学者的广泛关注,成为机器人和控制领域的研究热点。本文将研究改进的强化学习算法及其在机械臂控制中的应用。将现有强化学习算法直接应用于机械臂运动控制仍存在着诸多问题和挑战:首先,大多数强化学习算法考虑离散的状态空间,对于机械臂系统这种高维连续状态空间问题容易出现维数灾难。其次,现有方法依大都赖于高样本复杂度,而在实际中机械臂与环境交互的代价是不能忽视的。另外,针对不同控制任务需要人为设计奖励函数,而设计一个好的合适的奖励函数往往十分困难。最后,现有强化学习算法稳定性较差、较难收敛,容易受超参数影响。本文基于强化学习框架,分别对基于模型(Model-based)和无模型(Model-free)的方法进行了阐述和讨论,针对不同操纵任务提出相关强化学习改进算法并进行仿真验证,以提供一种可行的解决思路与途径。本文的主要工作和成果如下:1)首先,回顾了强化学习近年来的发展情况及其在机器人领域中的应用。其次,介绍了强化学习问题的数学描述:马尔科夫决策过程(Marcov decision process,MDPs),并给出基本MDPs问题的两种迭代求解方法。最后,介绍了机械臂的模型,给出了拉格朗日动力学方程,为后续的算法验证提供基础。2)针对未知动态环境下的最优控制问题,提出了一种基于局部模型的强化学习算法。考虑学习过程中的样本复杂度,采用微分动态规划以提高策略学习效率。为了对环境不确定性进行更好的建模引入了概率模型表示。同时,针对迭代线性二次高斯算法稳定性差、难收敛问题对其进行了改进,通过采取对新旧轨迹进行约束的方式来稳定训练过程,加速算法收敛。3)针对未知环境下的复杂操纵任务,提出了一种基于最大熵的无模型离策略(Off-Policy)深度强化学习算法。首先,考虑传统无模型深度强化学习算法样本复杂度极高,依赖长时间训练,通过引入一种新的经验回放技术,使得样本利用率显著提高,大幅缩短训练时间。特别地,由于该技术的引入,还使得算法适用于奖励函数为稀疏、二元化的情况。另外,针对算法稳定性差的问题,采用了最大熵框架,使得策略更新的目标不仅要最大化期望奖励,同时还要使策略的熵最大化,该模型能够更好地解决“探索与利用”问题,使得训练过程变得更加鲁棒和稳定。论文通过计算机仿真的方式,验证了所提出方法的有效性。最后,对全文进行总结,并对进一步的研究提出一些展望。