网络安全攻击发展的趋势不再是直接进入系统并对其造成损害,而是越来越多的使用间接攻击对网络流量产生负面影响。这种通过网络流量间接攻击造成的损害十分严重,攻击带宽的消耗会影响整个网络性能。网络流量的异常检测可以监控网络故障,并对恶意的攻击进行报警。另外,随着大数据时代的到来,网络流量也成为典型的海量数据之一。数据量的不断增加,使人工检测变得难以为继。传统的网络异常流量的检测存在许多局限性。虽然人类不能手动检查这些庞大的数据流,但是机器可以。为了提供对动态数据源的响应分析,本文提出机器可以采用基于流式的数据分析方法,过滤、显示和汇总数据,在数据到达用户之前对数据进行筛选。为了分析检测网络流量中的异常,本文结合数据挖掘和统计学的方法,设计了一种基于流式的网络异常流量检测系统,针对DDoS攻击、扫描攻击以及僵尸网络进行异常检测,并对其准确性、灵活性及效率进行研究。论文的主要工作如下:(1)本文设计并实现了一种流式的网络流量数据异常检测系统,将异常检测和数据分析相结合,提供数据自动分类的分类器以及向用户解释数据特征的分析过程。(2)为了在流环境中构建数据分类器,本文首先利用分布估计对数据的分布进行统计,之后设计分类器,识别网络流量数据中的异常流量,最后提出一种基于衰减的流式数据抽样的方法来实现流式网络流量自动分类的目的。(3)为了在流环境中实现检测结果分析过程,本文首先利用风险比量化了属于特定属性组合的流量数据点成为异常值的可能性,其次采用频繁项集挖掘的方法搜索具有足够条件的属性组合进行分析,最后提出一种基于hash表的流式计数器的方法动态处理流式数据。(4)在实验结果分析中,检测一系列真实攻击数据集,达到每秒查询2M以上的数据点的速度,验证了本系统的有效性。评估系统的性能,验证了系统的可扩展性。