论文部分内容阅读
近年来,随着计算机和网络技术在社会生活各方面应用的深入,计算机网络己经成为人们生活中不可或缺的重要组成部分。在充分享受网络带来的方便快捷的同时,互联网上的木马、黑客、网络犯罪等也给网络安全带来很大威胁,并且随着网络规模的不断扩大,网络安全事件的数量及其造成的损失也在急剧增长,网络安全问题日益突出,成为整个社会关注的焦点。根据2014年的CNCERT互联网安全威胁报告显示,网络安全事件报告数量比去年有所增长,并且存在一定数量的针对互联网基础设施和公共网络的拒绝服务攻击事件和网络犯罪事件。因此,打击网络犯罪势在必行。在证据信息化的大趋势下,以计算机及其网络为依托的电子证据在证明案件事实的过程中起着越来越重要的作用。鉴于此,网络取证工作变的越来越重要,已日益成为国内外学者和机构研究的热点。但目前进行网络取证仍然存在一些挑战:如海量的网络数据包;网络证据的挖掘方法;网络证据的可理解性等。针对上述问题,本文利用Hadoop大数据平台技术和聚类分析技术,开发了一种基于Hadoop的网络取证分析系统。利用该系统对各种网络攻击和不良行为进行分析,取得了良好的效果。本文完成了以下工作:(1)在阅读大量国内外相关参考文献的基础上,本文分析了目前网络取证分析系统的应用发展现状,研究了网络取证分析的相关技术,明确了系统设计的目标,给出了系统需求分析,确定了系统开发需要的技术,包括网络数据包捕获技术、HBase数据存储技术和MapReduce并行技术等等。(2)在需求分析的基础上,设计了一个基于Hadoop的网络取证分析系统。首先对系统进行了概要设计,确定了系统的三大模块:数据采集模块、数据存储模块和数据分析模块,并设计出各个模块的流程,然后从系统设计的角度对系统进行了详细设计,确定了系统的技术架构和各个模块的功能。(3)在需求分析和系统设计的基础上,采用C/S架构,通过编程实现了基于Hadoop的网络取证分析系统中的各项功能。最后,本系统部署在实验室的局域网环境下,对本系统进行功能检测和性能分析,通过模拟常见的网络攻击,以及通过浏览器访问一些不良网址,对系统进行测试。通过测试,发现系统能够较快的检测出常见的网络攻击以及不良网址,具有较高的检测速度和准确率。