论文部分内容阅读
随着互联网和大数据等相关技术的发展,在极大的给人们带来信息利用和资源共享便利的同时,各种攻击事件和网络异常等情况更是层出不穷,引发了一系列安全问题。网络上传输的业务流量日趋多样化,网络中关键业务流量对网络传输的实时性、可靠性、安全性等方面的要求越来越高,同时在网络中也逐渐充斥越来越多的恶意流量,消耗了大量的网络带宽资源,严重的影响了正常网络业务的传输。如何更好的进行网络行为监控,实现有效的网络资源管理,是网络从业者面临的主要问题之一。对网络流量进行高效的统计分析并能够检测出恶意或可疑的流量,可以帮助管理员更全面的掌控网络流量情况,根据可能的异常状况快速做出判断响应,从而提高网络资源利用率。本课题主要针对分布式网络环境下的海量实时网络流量异常检测进行研究,为了实时处理流量数据,目前研究比较广泛的数据挖掘、机器学习等相关的算法大都由于存在计算复杂度比较高或需要对数据集进行多次扫描等问题,在实时计算环境中并不能完全胜任需求。在实时环境中需要采用更简单快速的模型和算法,针对此问题,在对网络流量分析方法进行研究和对网络中的各种业务流量进行分析的基础上,需要建立动态快速的网络流量检测分析模型来感知网络流量的变化及发展趋势。本文以流量特征属性度量方法设计和检测模型设计为核心进行了深入讨论,并在此基础上初步实现了一个完整的检测系统,通过快速的异常检测算法尝试识别未知的、可疑的网络行为,另外实现了通过模式匹配方式来检测已知的威胁作为补充。本文提出了三种针对流量属性特征进行度量的新方法,基于三角正切相关性的度量设计和基于累积方差的度量设计以及基于发散度-权重的度量设计,并结合信息熵的度量方法对三种方法进行了详细的对比分析。在度量方法设计基础上,设计了两种检测模型,一种简单快速的基于指数加权移动平均算法进行阈值更新的模型和另外一种更通用的动态自适应更新的基于偏离度的检测模型,并对两种模型实验及检测应用分别进行了讨论。同时结合现有流量检测系统设计实现了针对实时网络流量的检测系统整体方案,对网络流量的采集、日志处理等相关内容进行了具体的方案实现,在此基础上结合分布式架构,构建了一套可以在分布式网络环境下运行的实时、高效、快速的检测分析系统及部署方案,实现实时感知网络流量的变化情况、异常情况及发展趋势等。