制导与姿态控制系统是导弹控制系统的两个重要部分,导弹的姿态控制系统即为导弹自动驾驶仪。目前,在设计制导律时,需要充分考虑飞行条件、制导精度和外界干扰等因素,而传统的导引方法（如比例导引律等）很难兼顾这些因素。同样在姿态控制系统设计时,针对每组特征点按照一定的准则（如时域指标、频域指标等）设计参数,但这会使设计的导弹模型与实际的弹体模型存在一定的差异。而强化学习算法是一种弱模型依赖的算法,其不需要对环境精准建模,因此有必要对导弹的制导律设计与姿态控制系统设计进行深入的研究。本文以某制导炸弹为研究对象,以强化学习方法为主要研究方法,进行以下几个方面的研究:首先引入描述导弹运动的常用坐标系以及不同坐标系之间的转换关系,推导出导弹和目标的相对运动模型,为后续基于强化学习的制导律设计奠定基础;同时根据动力学原理与运动学原理,对导弹的姿态运动建立了非线性模型,给出了六自由度弹道方程,为后续章节的基于强化学习的控制系统设计和数值仿真打下了基础。其次,研究了基于强化学习方法的制导律。首先考虑制导系数动作空间维数较小这一特性,选用了DQN算法对导弹拦截任务进行了制导律设计,给出了制导环境MDP的设计过程,经过多回合的训练之后,奖励值逐渐收敛。之后针对DQN算法中的过估计导致的动作指令选取的局部最优问题,引入一个神经网络来减小DQN算法的过估计问题,学习结果表明,脱靶量相比于DQN算法也有明显的减小。在改变多种仿真条件下,脱靶量也能维持较好的效果。然后,研究了基于强化学习的过载自动驾驶仪在线调整控制参数。首先,利用策略梯度算法对过载自动驾驶仪的控制参数进行设计,该方法将导弹看作为智能体,读取飞行状态信息并建立动作策略和奖惩机制。其次,针对策略梯度算法存在的对数据利用率不高和学习效率低的缺点,采用DDPG算法对导弹自动驾驶仪的控制参数进行设计并进行比较分析。基于强化学习方法设计控制参数也大大降低了控制参数的设计难度和工作量。本文将此方法进行了实验仿真并与增益调度法进行比较,验证了设计的可行性。最后,对本文的工作进行了总结,并分析了基于强化学习方法在制导律和控制系统设计方面仍存在的问题,给出了下一步的研究方向。