网络技术和应用的飞速发展先后催生了认知网络和软件定义网络(SDN)等新网络技术概念的诞生,也带来愈加巨大的管理挑战和安全风险。最新研究已将机器学习和深度学习的新方法引入网络安全尤其是攻击检测系统中,但是SDN带来的灵活性仍未被充分利用。为了将认知网络的感知、决策闭环引入SDN的管理,本文以网络可编程性为骨,以现有安全技术为肉,设计了以机器学习为中心、人工辅助的攻击防御系统。新系统的核心在于使用SDN服务链灵活处理分类模型难以判别的可疑流量,同时使用聚类模型分析处理对应的可疑日志。在保持低误报率和低用户体验影响的前提下,新系统具有直接拦截部分新攻击,对安全环境变化主动报警,以及提炼关键数据以辅助自身升级的能力。通过对两份真实访问日志的研究和标记,本文给出了两个新的Web安全数据集。其一为来自Apache公开提供的约一万五千条日志样本,其包含多种类的攻击,但没有分种类的攻击标签。其二为来自某匿名网站的最新的大量访问日志,我们剔除了其中的攻击,结合其安全日志和从漏洞扫描工具中得到的三种不同类型的攻击语句数据集,我们给出了人工生成攻击日志的方法。算法设计上,本文将字符级卷积神经网络应用在网络安全日志的特征提取上,以替代传统的安全本体。实验证明这一新方法能够将原始日志数据投影至高维隐空间,为后续的机器学习任务如攻击识别提供有效的特征,且具有不依赖先验安全知识,屏蔽日志格式区别的优势。对于后续的攻击检测分类模型,本文论证了高性能极限学习机的特点和优势。数据集上检测实验证明,即便在高准确率(95%)的情况下,添加可疑行为类的划分可以进一步提高其可用性。这一分类模型在模拟的“零日攻击”下产生的可疑样本集帮助我们进一步实验以论证带噪声的基于密度的聚类方法适用于我们的可疑样本聚类分析。本文在“零日攻击”和“假性零日攻击”两个安全环境变化的模拟场景上验证了日志的表征,分类和聚类三部分算法作为一个系统整体协作时的有效性。当新类型的行为出现时,分类模型的可疑样本数量迅速增加,触发警报的同时,聚类模型准确地将可疑样本中的新行为筛选至一个最大聚类中。由于初次报警的最大聚类中的新行为样本超过90%,只需迅速人工标记整个聚类即可立刻更新分类模型,响应安全环境的变化。