互联网的发展催生了云计算平台的出现,设计云服务、云架构、云存储等一系列解决大规模数据计算的平台已初步形成一套系统规范。在网络应用服务数据量上升的今天,网络安全事件增长和爆发的速度也较之从前有了爆炸式的增长。随着人们对互联网的依赖,网络中的入侵行为、对网络基础设施破坏的攻击事件对经济甚至国家安全所带来的危害性也大大加强。如何实时准确地发现大规模网络中存在的异常流量行为,及时有效地解决安全问题是一个非常有意义的课题。本文以Hadoop和Spark为基本框架,提出一种大规模网络异常流量云检测平台的体系架构,从数据采集、存储、计算到展示等各个方面,均采用了Hadoop生态圈的相关技术实现。在算法设计方面,本文提出了基于ISODATA的半监督异常流量检测算法。针对已知攻击,该算法对异常流量类型和正常流量类型做出正确的划分。针对未知的异常流量或网络异常行为,采用聚类算法将其与正常流量分离。通过仿真实验和校园网真实环境的实验数据分析,证明了算法的有效性。本文实现了基于Spark on YARN的云检测环境,并针对大规模网络流量监控实时性要求高的特点,设计了完整的云检测系统编程模型。开发的云检测平台成功部署在天津教育城域网,实现了对城域网流量和关键服务器流量的异常检测和预警,从而保证网络能够正常运行。