入侵检测中数据预处理算法的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:ding89629
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
入侵检测是一种能检测任何企图破坏资源完整性、保密性和可用性等入侵行为,并能采取对抗措施的技术。在网络安全问题日益突出的今天,如何迅速而有效地利用入侵检测系统发现各种入侵行为,对于保证系统和网络资源的安全十分重要。随着网络传输数率的不断加快,入侵检测系统处理数据包的能力必须相应增强,但是由于数据包的丢失和攻击者的蓄意破坏,往往存在很多缺失数据、缺失属性的记录和不一致数据等诸多情况,这些数据成了入侵检测系统对数据进行挖掘的一大障碍。因此,在从入侵检测系统进行检测之前必须对数据进行预处理。 本论文着重研究入侵检测中的数据预处理技术,尤其是数据清洗技术,并对提出的算法在 KDD CUP 99 数据集上做了论证。 首先对数据预处理知识做了全面和详细的描述,介绍了数据预处理的研究背景、定义和主要的预处理技术研究现状等。然后对现有的数据预处理技术进行了深入的分析,涉及到数据清洗、数据选样、数据变换和数据归约等技术。之后重点对缺失值填充技术及各种填充算法进行了深入地研究和探讨,并提出了基于聚类技术的缺失值填充法。最后,在前面讨论的各种技术的基础上,对提出的算法进行了一系列的实验,并与使用最广泛的 k-NN 分类技术做出比较。 在对数据预处理技术进行的研究中,着重介绍了缺失值清洗的基本知识和方法,并探讨了当前缺失值清洗技术,客观地评价了它们的优缺点。本文对目前广泛应用的各种数据预处理技术进行了深入的研究,又提出了如何应用聚类算法进行缺失值填充的新方法,并给出了在数据集上的试验结果及结论。 本文的主要创新点在于提出的基于 k-means 聚类技术的缺失值填充算法。
其他文献
随着集群系统的需求越来越大,集群系统方案的开发越来越受到重视,特别是中小规模的通用服务器集群设计。基于U 盘的服务器集群系统方案就是针对中小规模通用服务器集群来进行研
椭圆曲线密码系统的安全性建立在椭圆曲线离散对数问题的难解性上。同其它公钥密码系统相比,它的执行速度快、密钥长度短、安全性高,因而日益受到人们的关注,成为公钥密码学
WWW(简称Web)和无线局域网是近年来发展最快、最激动人心的网络技术。Web由于其操作简便、功能丰富,使得Internet真正实现了大众化。与此同时,无线通信技术迅速普及,越来越多的
随着信息化时代的发展,各种各样的数据随之而来,数据结构多样化以及数据规模对相关技术提出了巨大挑战。对于处理大数据的许多应用,MapReduce编程框架的优势很明显,在谷歌、
在分布式存储系统中,基于纠删码的容错机制相比于基于副本的容错机制能够极大地节省数据存储开销。然而,纠删码修复所产生的大量数据传输影响了系统性能,阻碍了纠删码在实际
发展智能安防系统,是解决城市化过程中出现的人民生命和财产安全威胁、重大安全事件后期数据排查处理困难等问题的有效途径之一,是未来安防系统的主要发展和研究方向。基于视
网格计算系统就是将地理分布、系统异构、性能各异的各种资源,包括超级计算机、大规模存储系统、个人计算机、各种设备等组织在一个统一的框架下通过高速互连网络连接并集成
测试驱动开发(Test-Driven Development,简称TDD)是一种可预测的软件开发方法,它是敏捷思想的重要体现,是极限编程的技术核心。它不仅在极限编程中广泛应用,同时也适用于其它开发
文件系统作为操作系统的重要组成部分,决定了操作系统本身信息和用户数据在存储设备上的组织方式。随着嵌入式系统硬件设备的普及和价格的不断降低,以及嵌入式系统应用领域的不
伴随着大数据时代的到来,数据呈爆炸性增长。如何有效地组织海量数据并从中提取有价值信息成为一个难题。深度学习模型是一个多层的神经网络,模拟了大脑皮层的层次学习结构,