算法学习问题作为人工神经网络以及人工智能应用的主要问题之一,指的是计算机只训练样本的输入输出进而对未知算法进行拟合的问题。算法学习问题要求模型具有长时间记忆的能力,而作为具有循环结构的门控神经网络,更新门以及遗忘机制的设置使得门控神经网络具有长时间记忆的能力,因此门控神经网络适合应用于算法学习问题。但仅仅使用标准的门控神经网络完成算法任务时,发现两个问题:一是网络中激活函数的选择导致网络运行速度变慢;二是网络中固定的学习率导致网络收敛速度变慢。针对在使用网络模型完成任务时出现的这两个问题,本文做了如下工作:首先,对门控神经网络进行了综述与分析。在对循环神经网络结构与实现功能介绍的基础上,给出了门控神经网络提出的背景。同时结合算法学习问题,分析了门控神经网络在处理这类问题时的缺陷及改进原因。通过分析发现影响门控神经网络在算法学习问题上的表现主要集中三个因素:网络结构、激活函数以及学习率。从而下一步对门控神经网络的优化主要基于这些因素。其次,研究并改进了门控神经网络中激活函数。为了通过减少网络计算量减轻网络负担,文章引入了门截断机制的硬限幅函数以及其变体代替原网络中sigmoid激活函数。相比之下,改进后的函数不仅具备原激活函数的主要性质,较之前的激活函数计算简便,减少了网络的运行负担。然后,考虑了门控神经网络中学习率的改进。改进了学习率衰减方案,优化了因为学习率固定带来的网络收敛速度变慢的问题。对比原学习率衰减方案,新的学习率衰减方案在应用中具有更快的收敛速度。使用学习率衰减方案代替门控神经网络中的固定学习率,既保证了门控神经网络参数更新方式不发生本质改变,又提高了网络收敛速度。最后,实验结果表明,只使用本文提出的激活函数替代方案时,与门控神经网络相比,网络的训练速度至少提升了 10%;只使用本文提出的固定学习率替代方案时,与门控神经网络相比,网络训练的收敛速度至少提升了6%;在使用学习率衰减方案以及激活函数替代方案后,网络收敛速度至少比原门控神经网络快6%,训练速度比门控神经网络快8%。