论文部分内容阅读
本文致力于利用流量特征,设计面向入侵检测的流量选择方法进而构造与之相适应的DIDS系统,以解决主干网中IDS处理性能跟不上网络链路速度快速增长的问题。研究内容主要分为如下四个部分。
首先,论文系统研究了影响IDS性能的各种因素,将它们总结为三类:硬件因素、动态流量因素和IDS内部限制因素。论文采用仿真的方法量化了各种微系统级别的硬件因素是如何影响IDS性能的,结论表明硬件瓶颈主要存在于内存存取速度。由于硬件工艺限制短期内不可能克服这个硬件瓶颈,因此通过改变可控的动态流量因素来提高IDS性能更加实用。论文采用10Gbps链路下的真实trace用实验的方法考察了报文长度、报文到达率等6个动态流量因素对IDS性能的影响及其影响趋势,这些结果为后文提出面向入侵检测的流量选择方法奠定了认知基础。
其次,论文提出了一个面向主干网入侵检测的动态自适应流量选择系统IDSampling。它自适应于瓶颈资源消耗,以抽样为方式,以攻击流量特征为测度,通过检查报文头信息来判断哪些报文值得IDS逐字节检测,哪些报文应该直接丢弃,如此将有限资源用在攻击嫌疑高的报文上,提高了IDS检测效率。IDSampling共采用了五种流量选择方法:面向协议的流量选择方法ProtoS、面向特殊标志的流量选择方法FlagS、面向异常长流的随机报文抽样方法RPS、面向恶意攻击的热点流量Samplig&Hold方法FSH和面向小规模攻击的基于反馈指导的流长流量选择方法FFS。每种方法各自负责从不同的测度角度抽样对应的攻击报文,所有方法的抽样结果组合成了最有检测价值的高嫌疑度流量。同时,系统学习上述高嫌疑度报文特征,采用反馈检测器检测结果和黑名单检测两种方法帮助流量选择识别攻击报文,将随机抽样转变为对攻击有偏好的抽样。一方面,通过学习RPS、FSH的抽样样本,抽取出异常流量的流量特征,加入到黑名单中,维护黑名单的有效性使得流量选择将有限的抽样机会优先分配给大规模异常流量。另一方面,采用长流反馈策略反馈后端检测器的检测结果指导抽取攻击流的后继报文,进一步提高流量选择的准确度。实验结果表明采用IDSampling,极限处理能力只有200Mbps的开源入侵检测系统Snort可以完成1Gbps流量下的入侵检测任务,能够选择到70%-85%的大规模攻击报文,保证了大规模攻击的检测率,同时IDSampling选择到的小规模攻击报文较之随机抽样要多。
再次,利用流量特征论文提出了基于流量特征的新报文分类算法FCS。它系统考虑攻击特征库的静态特征和流量动态特征,利用网络流量的动态特征改进IDS分类树的构建,系统考虑攻击特征库的静态特征和流量动态特征,提高了报文分类树的匹配速度和内存利用率。工作主要分为三方面:首先,从流量的角度提出了最佳分类树的形式化定义,提出分类树的目标应该是将流量分得越均匀越好。其次,提出了用分类域熵来衡量分类域的分类能力,优先使用分类能力强的分类域作为分类树的分类层次测度,构造出能将流量划分得最均匀的最佳分类树。最后,提出了利用流长的重尾特性降低报文对分类树的访问复杂度的方法,提高了报文查找分类树的速度。为超长流在分类树中建立快捷方式,在共享内存中只为一个超长流保存一个规则标签,将每个报文都必须频繁执行的内存拷贝操作简化为每个流只执行一次内存拷贝操作,从而将超长流报文访问分类树节点的代价从O(log2N)降低到O(1),N是分类树结点数目。实验证明改进后的分类算法FCS在分类速度上较之完全静态的分类算法PHicuts和完全动态的分类算法Wind速度提高幅度在20%~50%之间,长流报文的百分比含量高的情况下FCS内存消耗也低于PHicut和Wind。
最后,论文将上述“开源”和“节流”的方法都应用在IDSamplin_DIDS,一个采用流量选择技术的万兆分布式系统中。改进主要有四个方面:第一,由于IDS流量的均衡性无法保证,采用SIP+DIP快速但不平均的流量分配方法2TLB,以最大限度地保持单个IDS检测节点的攻击语义完整性,从而降低DIDS部件间的信息交互。第二,采用动态反馈的流量技术缓解了分钟级别细粒度下hash方法分配流量不均衡的问题。第三,将FCS应用在单节点检测器中,利用流量特征提高IDS报文分类速度。第四,也是系统最重要的改进在于,采用了流量选择方法,提高了系统检测效率,以有限的资源获取最大化的安全保障,且系统构架灵活,可扩展性强。流量选择方法既可以实现在独立的流量选择器中,也可以集成在检测器中,取决于用户对系统投资、检测精度、抽样影响等因素的综合考虑。考虑到主干网入侵检测只要求保障大规模攻击的检测准确性,而对其它攻击仅需要提供尽力而为的服务,采用流量选择方法可以在检测精度和系统性能间寻找到一个合理的折中点。理论分析及实验结果表明,IDSampling_DIDS的最高系统性能可以达到传统DIDS的12.5倍。