基于在线集成学习的入侵检测方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ustbyjp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各类新型高新信息技术的广泛普及与互联网的迅速发展,万物互联的时代正在到来,人们的日常生活与社会分工协作得到了极大的便利。与此同时,各类互联网威胁,诸如新型病毒、蠕虫层出不穷,给企业和个人带来不可估量的信息资产损失。互联网安全问题已经成为全世界各个企业及组织必须面对的一大挑战。入侵检测技术是一种能够对来自内部或外部的网络入侵行为进行识别和响应的安全保障技术。现如今,日益复杂的网络环境及不断增长的网络流量对入侵检测系统的精准检测能力、高可用、高扩展性上提出了更高的要求。机器学习技术在解决复杂空间的入侵检测问题上已被证明是有效的方案,并被广泛用于解决现实入侵检测问题。然而,面对日新月异的入侵手段,常规的机器学习解决方案构建入侵检测系统一方面面临时效性问题,即当下网络入侵手段更新迭代速度快且传输数据量大,重复的离线批量训练将带来计算资源的开销而降低系统运行效率,入侵检测系统需要具备利用增量数据进行增量训练的能力;另一方面,入侵检测系统需要极高的稳定性来保证网络系统的安全,因此需要尽可能避免系统预测结果随着训练数据的偏差导致模型方差变大,需要对模型预测的稳定性进行控制。在入侵检测系统工程实现上,入侵检测系统需要具备良好的高可用及易扩展能力,以面对海量网络流数据的入侵检测场景。因此,针对入侵检测的问题,本文提出一种基于在线集成模型的解决方案,通过在线学习技术来满足入侵检测系统对数据时效性的要求,进而通过集成学习技术提高系统的稳定性和可靠性。本文在工程实现方面,首先对所提在线集成算法进行了算法实现与部署,进而为了应对入侵检测系统的高吞吐、低延迟的应用需求,本文将基于分布式数据平台设计合理的数据架构,完成在线集成模型高可用的分布式系统部署。首先,本文选型并实现了FTRL在线学习算法进行模型的构建和训练,并根据不断补充的时序数据构建一组在线基学习器。进而,结合模型性能,提出一种基于时序性能加权的集成的方案,降低在线模型方差,提高稳定性。随后,本文将在开源的入侵检测数据集UNSW-NB15中进行模型评估,并与其他模型方案进行对比。实验结果显示,面对未知测试数据,在线集成模型在预测指标和稳定性上均得到了更优的表现。最后,本文针对入侵检测应用设计了一套基于Hadoop分布式数据平台的分布式系统架构,采用Lambda架构实现数据的采集、预处理、离线存储、模型预测工作,保证入侵检测系统高可用、易扩展,使在线集成模型可以实时应对大吞吐量数据传输及处理。
其他文献
我国国土宽阔,资源种类丰硕多样,伴随着国家的经济飞快的成长,中国的旅游业已经成为整个国家的紧要经济支柱之一,而村落旅游业已然是近年来的一个大局势,发展非常迅速,对于乡村旅游业的发展,我国也是越来越重视。近年来相继出台了许多政策关于加大力度建立发展乡村城镇旅游。因此许多乡村得到建设开发,但是许多乡村景观规划设计没有体现出当地原有的特色与真实的自然环境与人文情怀,整条规划设计并不明确清晰。田园综合体是
既有变配电所改扩建与新建变配电所施工有所不同,需要边运行边施工,安装难度大、安全问题突出、调试过程复杂。为此,根据施工实践总结概括出改扩建施工的一般原则和要求,以及
目的研究80例风湿免疫性疾病患者皮肤溃疡的护理效果。方法对我院2016年12月~2017年12月接收的80例风湿免疫性疾病患者伴皮肤溃疡资料加以探究,随机分为2组,每组40例;对照组
土壤和地下水是人类赖以生存的重要自然资源,对人类生存和社会发展有着重要意义。然而随着人类经济和工农业发展,产生的含有重金属的废水废渣被排放到环境中,地下水遭受污染威胁的问题也越来越严峻。本文依托青海省祁连地区典型矿山地质环境生态修复关键技术研究项目,针对矿业对当地环境造成的重金属镉污染开展治理和修复的机理研究。重金属镉一方面通过植物根系在植物体内积累,抑制植物生长,导致农作物品质下降,危害粮食安全
裂缝型油气藏是非常规复杂油气藏的重要类型,在油藏地球物理方面,作为当前国内外油气勘探的重点和难点,裂缝型油气藏研究意义深远。岩石物理模型技术建立储层物性参数与地震属性之间的联系,本文裂缝型储层岩石物理研究主要针对TI和正交各向异性介质进行建模,充分考虑储层特点和裂缝信息。裂缝研究涉及参数众多,本文主要选取关键参数裂缝密度、裂缝纵横比、充填流体等进行具体研究。以各向异性弹性理论为基础,将Hudson
自2013年以来,我国雾霾污染开始大面积常态化地出现,为经济社会、居民生活带来了持续性的危害。由于雾霾具有典型的公共产品的特征,如果仅仅通过市场的作用很难将其根治,因此政府的作用就显得尤为重要。京津冀地区作为我国经济发展的一个重要区域——“首都经济圈”,却是我国大气污染最严重的地区。政府相关部门一直有采取环境治理措施,但治霾效果一般,因此在雾霾治理过程中环境规制是否有效,是否存在其他因素影响雾霾治
盐碱地资源是我国重要的土地资源。盐碱地面积巨大,如何开发和利用一直是一个热点问题。通过植物根际促生菌(PGPR)制成的微生物肥料在提高盐碱地的利用率等方面发挥着重要作
时下,医疗卫生事业逐步发展,医疗机构对自身"硬件"资金投入比重加大,为有效提高医院基建资金使用情况,合理使用有限资源,文章结合实际工作情况,对医院自身基建工程中审计工作
传统AVO理论基于Zoeppritz方程提出,没有考虑弹性波在地层中传播产生的衰减和频散。为了模拟弹性波在地层中传播的真实情况,本文基于Chapman频散介质理论,构建饱和含水砂岩模