大规模网络中基于流量特征的入侵检测性能改进

来源 :东南大学 | 被引量 : 0次 | 上传用户:jjpabc123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文致力于利用流量特征,设计面向入侵检测的流量选择方法进而构造与之相适应的DIDS系统,以解决主干网中IDS处理性能跟不上网络链路速度快速增长的问题。研究内容主要分为如下四个部分。   首先,论文系统研究了影响IDS性能的各种因素,将它们总结为三类:硬件因素、动态流量因素和IDS内部限制因素。论文采用仿真的方法量化了各种微系统级别的硬件因素是如何影响IDS性能的,结论表明硬件瓶颈主要存在于内存存取速度。由于硬件工艺限制短期内不可能克服这个硬件瓶颈,因此通过改变可控的动态流量因素来提高IDS性能更加实用。论文采用10Gbps链路下的真实trace用实验的方法考察了报文长度、报文到达率等6个动态流量因素对IDS性能的影响及其影响趋势,这些结果为后文提出面向入侵检测的流量选择方法奠定了认知基础。   其次,论文提出了一个面向主干网入侵检测的动态自适应流量选择系统IDSampling。它自适应于瓶颈资源消耗,以抽样为方式,以攻击流量特征为测度,通过检查报文头信息来判断哪些报文值得IDS逐字节检测,哪些报文应该直接丢弃,如此将有限资源用在攻击嫌疑高的报文上,提高了IDS检测效率。IDSampling共采用了五种流量选择方法:面向协议的流量选择方法ProtoS、面向特殊标志的流量选择方法FlagS、面向异常长流的随机报文抽样方法RPS、面向恶意攻击的热点流量Samplig&Hold方法FSH和面向小规模攻击的基于反馈指导的流长流量选择方法FFS。每种方法各自负责从不同的测度角度抽样对应的攻击报文,所有方法的抽样结果组合成了最有检测价值的高嫌疑度流量。同时,系统学习上述高嫌疑度报文特征,采用反馈检测器检测结果和黑名单检测两种方法帮助流量选择识别攻击报文,将随机抽样转变为对攻击有偏好的抽样。一方面,通过学习RPS、FSH的抽样样本,抽取出异常流量的流量特征,加入到黑名单中,维护黑名单的有效性使得流量选择将有限的抽样机会优先分配给大规模异常流量。另一方面,采用长流反馈策略反馈后端检测器的检测结果指导抽取攻击流的后继报文,进一步提高流量选择的准确度。实验结果表明采用IDSampling,极限处理能力只有200Mbps的开源入侵检测系统Snort可以完成1Gbps流量下的入侵检测任务,能够选择到70%-85%的大规模攻击报文,保证了大规模攻击的检测率,同时IDSampling选择到的小规模攻击报文较之随机抽样要多。   再次,利用流量特征论文提出了基于流量特征的新报文分类算法FCS。它系统考虑攻击特征库的静态特征和流量动态特征,利用网络流量的动态特征改进IDS分类树的构建,系统考虑攻击特征库的静态特征和流量动态特征,提高了报文分类树的匹配速度和内存利用率。工作主要分为三方面:首先,从流量的角度提出了最佳分类树的形式化定义,提出分类树的目标应该是将流量分得越均匀越好。其次,提出了用分类域熵来衡量分类域的分类能力,优先使用分类能力强的分类域作为分类树的分类层次测度,构造出能将流量划分得最均匀的最佳分类树。最后,提出了利用流长的重尾特性降低报文对分类树的访问复杂度的方法,提高了报文查找分类树的速度。为超长流在分类树中建立快捷方式,在共享内存中只为一个超长流保存一个规则标签,将每个报文都必须频繁执行的内存拷贝操作简化为每个流只执行一次内存拷贝操作,从而将超长流报文访问分类树节点的代价从O(log2N)降低到O(1),N是分类树结点数目。实验证明改进后的分类算法FCS在分类速度上较之完全静态的分类算法PHicuts和完全动态的分类算法Wind速度提高幅度在20%~50%之间,长流报文的百分比含量高的情况下FCS内存消耗也低于PHicut和Wind。   最后,论文将上述“开源”和“节流”的方法都应用在IDSamplin_DIDS,一个采用流量选择技术的万兆分布式系统中。改进主要有四个方面:第一,由于IDS流量的均衡性无法保证,采用SIP+DIP快速但不平均的流量分配方法2TLB,以最大限度地保持单个IDS检测节点的攻击语义完整性,从而降低DIDS部件间的信息交互。第二,采用动态反馈的流量技术缓解了分钟级别细粒度下hash方法分配流量不均衡的问题。第三,将FCS应用在单节点检测器中,利用流量特征提高IDS报文分类速度。第四,也是系统最重要的改进在于,采用了流量选择方法,提高了系统检测效率,以有限的资源获取最大化的安全保障,且系统构架灵活,可扩展性强。流量选择方法既可以实现在独立的流量选择器中,也可以集成在检测器中,取决于用户对系统投资、检测精度、抽样影响等因素的综合考虑。考虑到主干网入侵检测只要求保障大规模攻击的检测准确性,而对其它攻击仅需要提供尽力而为的服务,采用流量选择方法可以在检测精度和系统性能间寻找到一个合理的折中点。理论分析及实验结果表明,IDSampling_DIDS的最高系统性能可以达到传统DIDS的12.5倍。
其他文献
现今的网管测试管理多数是人工管理,导致测试人员不能及时、充分地交流信息,难以掌握项目进度,测试流程不统一、不规范,资料、数据等不易共享,维护测试文档、统计测试结果、
基于属性的公钥密码体制由基于身份的公钥密码体制发展而来。在基于属性的公钥密码体制中,实体的身份被视为一系列属性的集合。相较于基于身份的公钥密码体制和传统的基于证书
数字城市概念的提出源自于1998年美国副总统戈尔在美国加利福尼亚科学中心发表的题为“数字地球:二十一世纪认识地球的方式”的讲演,其核心思想就是利用信息技术尽可能处理地
面对复杂多变的网络化世界,尤其是“互联网+”概念的提出,更是把互联网融入了人们生产生活的各个方面,使得市场环境呈动态化发展。面对交流层次的不断增加,市场环境纷繁复杂,不可预测,企业的生产经营不再处于单一化、简单化的状态,企业驻留的环境越发复杂,处于动态变革的市场环境中,从而所面临的竞争压力也一日千里。企业如何在动态竞争中独善其身,取得竞争优势是每个企业最关注的核心问题,因此,企业必须从自身出发,结
功耗问题已日渐成为当前处理器设计领域所面临的严峻挑战。随着处理器芯片上功耗密度的增加,其芯片运行温度也将随之上升。过高的处理器温度将严重损害处理器的可靠性和寿命
EEG(Electroencephalography)是通过医学扫描仪器将人体脑部自身产生的微弱生物电放大记录而得到的曲线图。它是由人脑皮层神经元放电产生的电位组成,具有非侵入、无损伤、高
大规模无线传感器网络较传统无线传感器网络表现出更多异构性、不均匀性以及不一致性,感知数据在类型上具有复杂化与多样化特征,在数据规模上具有大数据特征,导致传统无线传
随着互联网上信息的暴增,用户很难在互联网上查找到自己想要的信息。为了解决此问题。搜索引擎诞生了。同时经专家统计发现,人们在利用搜索引擎查找信息时,他们绝大多数情况
随着互联网技术的发展,XML作为信息存储和数据交换的标准被广泛采用,由于客观世界的复杂性,不确定数据存在于一些应用领域。通常不确定信息以概率值的形式在XML文档中表示,这
随着Internet的快速发展,网络入侵的手段和方法也越来越复杂,网络的安全形势日益严峻。入侵检测系统作为保护网络安全的第二道屏障,其技术也在不断地进步。借鉴生物免疫系统