在人类的学习过程中,从一开始的一无所知,发展到在所处环境中适应的游刃有余,靠的是个体不断在环境中的探索与试错。若将此过程放在机器人等智能领域,是否也可以使智能体对特定环境的探索,如同人类的学习过程一样。在机器学习中的强化学习分支,将赋予智能体这样探索环境的本领。但单一的探索与大量的数据存储,不仅会耗费时间与空间,对智能体本质的智能化提升并没有多少成效。随着强化学习算法领域的不断创新与发展,在原有单一的模型已知算法的基础上,已经逐步拓宽至模型未知的条件下强化学习算法,并形成了以Q-Learning算法为基础的各类算法,用以解决各类机器学习问题。本文基于上述背景下,以马尔科夫决策过程相关理论作为切入点,选取智能体在环境探索中动作与决策作为研究对象,分析对比了现有强化学习算法,结合实际场景的大背景需求下,设计实现了以Q-Learning为基础的改进算法,。根据所研究的智能体动作控制与决策行为,选取Atari 2600作为实验环境,并从智能体的动作行为、决策判断等多方面对所设计的改进算法进行性能测试,经过足够长的训练学习,本文所设计的改进算法在动作控制方面、行为决策方面,相较于未加改进的对比算法,体现出明显的智能化与自主化。在宏观表现中相较于同实验中的对比算法,在回合得分中也较为出色,在较短的训练周期中,获得较高的学习效率,由此体现出改进算法不仅在智能体的动作行为控制方面得到了较大的提升,在环境中也同样拥有着较为快速的适应性,达到快速积累学习经验的效果。经过实验对比分析后,本文所设计的改进算法,对智能体的动作控制与决策等性能有了一定改善与提高。