网络流量海量化、复杂化已成为常态,如何识别、监测、分析网络流量已成为重要研究方向和热点。特别是基于深度学习的异常检测方法的研究,受到产学研界广泛关注,异常检测与机器学习、深度学习等人工智能技术领域相结合是网络安全领域研究的一个重要分支。作为检测高级威胁手段的流量分析技术结合人工智能、大数据等技术对流量建模,分析流量行为,识别检测异常流量,为网络规划、网络优化、网络监控等提供重要的技术支撑。本论文的研究内容是将传统的统计方法、深度学习及强化学习的方法用于网络流量建模和异常检测,流量模型是基于流量的异常检测的基础性研究工作,掌握流量特征是建设健壮、安全可靠网络的前提条件。可在流量模型上开展流量预测、分类,以及在此基础上进行异常检测研究。本文主要研究内容和贡献包括:（1）研究了移动平均自回归模型在以流量为代表的时间序列建模领域的应用,总结了一套建模流程,可用于指导模型设计、指标选择及模型评估;提出了一个ARIMA+SVR的混合模型,时间序列的预测准确度提高了10%以上。设计了一个加密视频流识别方案,提出了视频流最近邻、动态时间规整算法;基于加密后流量不确定性增加、熵值加大的特点,结合分类算法提出了一个加密流量识别方法,该方法与传统方法相比,识别准确率提高了10%以上。（2）在分析和实验长短期记忆网络性能存在的问题后,提出了基于注意力机制和自编解码融合的流量模型,训练时间与现有的模型相比缩短了约80%左右,在流量模型的基础上设计了异常评分机制,提出了基于注意力的异常检测模型,实验结果表明异常检测准确率达到或超过现有模型,模型训练时间效率提升明显。（3）通过将生成式对抗神经网络（GAN）应用于流量建模和异常检测的研究,提出了基于GAN的流量模型,该模型克服了GAN训练易出现不稳定等问题,生成了“高仿真度”的网络流量,在此基础上进一步设计了异常评分机制,进行流量异常检测。实验测试表明模型的有效性,其识别准确率达到或超过现有模型。（4）通过对异步强化学习（A3C）应用于网络流量的研究,提出了一个对网络攻击行为建模的异常检测模型,对四个基准数据集的实验测试表明,检测准确率、召回率及F1分数等评价指标达到或超过现有的模型。