深度学习作为一种典型的人工智能技术,近年来越来越受到关注,并已在图像处理、自然语言理解等领域得到了较好应用。循环神经网络作为深度学习中的一种网络结构,因其独特的设计,使得它在在处理序列数据上非常有效,可以对时间序列上的变化进行建模,目前已经成为深度学习中一个非常热门的研究方向。在此背景下,本文对循环神经网络改进方法展开研究。目前循环神经网络本身的研究改进主要集中在两个方面,一是其学习长时间序列相关性的能力有所不足,二是某些网络结构的复杂度较高。本文首先针对典型的循环神经网络模型Simple RNN,在不深度改变其结构的基础上,通过权重初始化改进并结合卷积神经网络,给出了一种结合卷积神经网络的Simple RNN改进模型。实验结果表明,改进后的网络结构在性能提升的同时,还提高了训练的速度,在训练效果和训练速度上取得了良好的平衡。其次,为了能适应更为复杂的任务应用场景,本文在上述所提出的模型基础上加以进一步拓展研究,通过使用双向循环神经网络实现了seq2seq框架,并结合卷积神经网络,给出了基于seq2seq的Bidirectional RNN改进模型。实验结果表明,拓展后的网络模型可以处理更复杂的任务场景,并具有良好的准确率和误差性能。