在学习过程中始终让学生在“学习区”中学习能够帮助学习能力得到快速增长,对学习者的学习行为进行挖掘,通过推荐引导学习者作答“学习区”的题目对于其学习过程具有十分重要的意义。而目前在线教育的题目推荐系统往往采用线性组织结构,在缺乏教师人为引导的情况下,存在着推荐效率不高,作答率不稳定,题目太难或太容易从而让学习者更加容易放弃等各种问题。同时个性化学习推荐系统仍无法运用合理的规则和解析模型来准确描述学习者学习的演进过程。鉴于深度强化学习在强化学习的基础上引入深度神经网络,同时具备深度学习的感知能力及强化学习的决策能力,正好契合了经验教师面向学习能力多层次的学生群体出题的决策思维方式,可以用作辅助出题系统对用户的水平准确理解、理性思考与快速决策,引导学习者在“学习区”进行学习。本文利用深度强化学习算法的特点,通过搭建题目网络图,并结合心理学上“学习区”及复杂网络中割集的概念,将寻找学习者答题过程中“学习区”转变成根据学习者行为在题目网络图中寻找用户割集采取的策略问题,构建了基于深度强化学习的引导式习题推荐模型。主要内容为:(1)根据题库中知识点与题目的属性以及知识点之间的关系确定知识点下题目之间的关系,构建题目网络图;根据用户行为数据,在题目网络图中得到针对指定用户当前状态下的子图,作为学习边界;并且基于心理学上“学习区”的理论,构造了推荐偏差度量指标;(2)使用深度强化学习算法,利用用户历史记录建模,通过动作集合、环境状态表示、即时奖励策略和神经网络结构的设计,将根据用户行为选择用户割集任务转换为深度强化学习算法的形式,训练得到在用户当前状态下的子图中如何选取割集策略。通过实验表明,随着模型的训练,推荐偏差度量指标趋于稳定,证明了模型的有效性。本文提出的引导式教学场景下深度强化学习的模型能够拟合经验教师出题决策的思维方式,在历史作答数据中提取有效隐含信息,为学习者推荐最佳习题,也可广泛应用在类似的引导式场景下。