基于DPI和DFI相结合的业务识别系统中的样本获取技术设计

来源 :东南大学 | 被引量 : 0次 | 上传用户:snakegmj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着千兆网络时代的到来,传统的报文捕获机制已经成为整个系统的性能瓶颈。最近几年,点对点(Peer-to-Pecr,P2P)应用的快速增长,极大地消耗了有限的网络资源,是导致网络带宽不够用的主要原因,如何对P2P流量进行有效的识别和控制就显得相当重要了。为了能够在高速网络中可以迅速地捕获数据包并对其进行有效分析和准确识别,需要对现有的数据包捕获技术和网络流量分类识别系统进行重新的设计和定位,而基于机器自学习的深度流检测(Deep Flow Inspection,DFI)系统可以有效的识别出采用动态端口和加密协议的网络流。DFI分类识别系统对网络流的识别准确率主要取决于它的学习和训练样本,因此本文主要研究如何在高速网络中获得有效的网络流量特征数据集,并对其进行有效的特征选择,去除冗余和类别标签不相关的特征,达到降低向量的空间维度和计算复杂度,提高DFI系统的分类准确率。具体研究内容和主要工作如下:   研究了基于深度包检测(Deep Packet Inspection,DPI)和DFI的流量识别技术。首先论述了DPI的工作原理、主要实现技术和系统的主要功能。其次研究并阐述了支持向量机(SupportVector Machine,SVM)及机器学习的基本原理和如何用SVM进行分类。最后得到了DFI流量识别的基本方法。   研究了基于Linux的底层数据包捕获系统。首先详细论述了Linux的内核模块机制和传统的数据包捕获方法。其次提出了千兆网络环境下高速捕获数据包的方法和系统框架,该系统主要涉及三个部分:修改的网卡驱动程序、构建虚拟用户捕获设备(Virtual User KernelModule,VUKM)模块和协议分析接口。修改的网卡驱动主要使到达网卡的数据包绕过内核的协议栈,转交给VUKM模块处理;VUKM模块作用是实现用户空间的应用程序和内核空间的程序共享内存;协议分析接口提供上层协议分析子系统与底层数据捕获系统的接口,为上层应用程序和网卡无冲突地访问VUKM模块提供一种机制。最后得到通过网卡并由底层数据包捕获系统捕获的原始数据包。   研究了DFI的样本获取。首先研究了特征选择的基本理论。其次给出了对数据特征集进行处理的方法,设计了Filter模块和Wrapper模块。基于ReliefF算法的Filter模块可以处理多类分类问题和去除大量不相关的特征,基于SFS算法的Wrapper模块,可以有效的选择出DFI分类器需要的样本。最后得到了DFI训练和学习需要的最优特征集。   文章最后在OfficeTen3800的硬件平台下,测试了QQ、PPLive、飞信和BT登录产生的网络流量,分析了获得的样本,得到了最优特征子集。并对全文工作进行了总结和展望。
其他文献
随着技术的发展,雷达监视场景日益复杂化,复杂环境中的目标跟踪问题已成为了现代雷达的严峻挑战。传统跟踪雷达仅在接收端对接收回波进行自适应滤波处理。之后出现的自适应雷
光纤无线(Radio over fiber, ROF)是一种新出现的超宽带无线接入技术,而光生毫米波技术是实现ROF系统的一个关键因素。光学倍频法(Optical frequency multiplication,OFM)在
近年来语音识别和关键词检索技术发展愈来愈迅速,逐步走向实用化。关键词检索技术比连续语音识别具有更好的灵活性,因而具有更广泛的应用领域。本文研究的电视体育比赛音频的
近年来,随着信息技术和计算机网络的发展,多媒体技术不断进步,数字媒体在各个领域得到了广泛应用,给人们的生活带了极大的便利。新的技术催生出新的问题:信息安全威胁和盗版,
随着无线通信领域的飞速发展,网络覆盖区域不断增多,各种数据业务的需求也急剧增加,以往的通信设备和模式已经无法适应现代通信多业务、高速率、高质量的要求,天线设计正面临
高频天地波超视距雷达采用电离层反射和地波绕射相结合的传播模式,由于这种特殊的组合信道,使得该种雷达工作时易受到电离层、地波传播损耗、海杂波、海态及环境噪声的影响。
本课题—GPIB接口芯片的设计及在逻辑分析仪中的应用研究主要有两个部分:第一部分是基于CPLD的GPIB接口板设计;第二部分是通过GPIB接口通讯的可程控逻辑分析仪的设计。其中GPIB接口板的设计采用CPLD+单片机的方案,逻辑分析仪采用FPGA+ARM的方案。最后将两部分结合起来组成一个可程控的逻辑分析仪,使得计算机通过GPIB接口达到对逻辑分析仪的控制。本文主要阐述了基于GPIB接口的逻辑分析
本论文以LED晶粒自动分拣仪为研究对象,对其自动分拣技术做了深入研究。包括:   (1)确定了晶粒的抓取和放置方案。由于晶粒的分拣过程可以是多种多样的,因此,通过对不同分拣方式
视频点播服务已有多年的历史。随着近年来网络传输能力的进步,基于互联网的视频点播服务逐渐兴起,成为了互联网上的主流应用。以Y ou Tube为标志的VoD服务已经产生了巨大的影响
时代在进步,科技在发展,特别是在李世石和AlphaGo的围棋人机大战之后,人们豁然发现人工智能的发展速度远超出想象,人脸表情识别技术作为一种重要的人机交互技术,未来必将在人