当前是智能化的时代,无论是对于传统的工业机器人,还是对于目前技术并不太成熟的服务机器人,都提出了新的挑战。而作为机器人的一项非常重要的能力,机械臂抓取物体一直是国内外研究的热点。随着深度学习的不断发展,基于计算机视觉的方法虽然已经有很高的抓取成功率,但其效率和鲁棒性较差。强化学习的抓取方法能够在物品种类繁多且位姿任意摆放的环境下,通过自监督学习的方式有效的完成抓取任务。首先,阐述了基于计算机视觉的传统抓取方法和强化学习的基本原理,并且根据目标策略和行为策略的异同,分为在策略和离策略。在策略只利用目前已知的最优选择,容易收敛到局部最优。相反,离策略通过保持探索,得到多样化的数据,来到达局部最优。基于离策略的TD3算法在Mujoco环境中有较好的效果,但是却并不适用于机械臂抓取任务。利用无导数优化方法CEM代替TD3中的确定性策略(CEM-TD3),解决了TD3算法中环境奖励稀疏的问题,使其更适用于物体抓取工作。其次,针对CEM-TD3算法中的Q函数进行网络结构设计。抓取模型以卷积神经网络为主要结构,输入层分为状态和动作,状态需要经过卷积层提取特征,动作则经过全连接层后与其相加,输出为Q值。使用池化层、批量归一层、随机激活等手段进行网络结构的优化;对于物体抓取奖励稀疏性的问题,将损失函数设置成分类问题的交叉熵函数;使用奖励惩罚的方法,加速网络的训练;通过增加网络输入的状态信息,提高抓取成功率。算法先积累一定的经验池,然后一边存储一边进行训练,并阶段性的测试验证。最后,利用bullet物理引擎搭建仿真实验平台。实验设置在训练过程每次随机摆放5个训练物品,任意物品到达指定高度即算抓取成功。验证算法效果则选择训练中并未见过的测试集物品,重复100次计算成功次数。用实验验证算法的可行性和闭环控制系统的稳定性。