论文部分内容阅读
随着互联网的发展,用户在享受便捷网络服务的同时,也面临着诸多网络威胁。入侵检测作为一种积极主动的安全防御技术,被广泛应用于网络安全领域。使用机器学习方法进行网络流量异常检测是当前较为主流的入侵检测方法,但是当下爆发的高维网络数据,尤其是多数系统严重依赖于经验来提取有效特征,已经严重限制了系统的性能提升,值得对其进行研究。近年来,基于深度学习的图像分类技术在提取图像特征、数据降维和图像识别等方面表现优异,这也为入侵检测技术的研究带来了新的契机。本文探索将图像分类与端到端学习相结合,尝试对原始流量进行图像处理,并构造合适的深度学习模型,以直接从图像中学习网络数据的时空特征,避免人为因素导致的原始特征信息丢失,以此提高系统的整体性能。本文的主要工作和创新如下:首先,本文提出一种新的原始流量截取方法。该方法与传统特征工程方法不同之处在于,其直接将原始流量中的数据包按照五元组拆分为流,并将流数据向量化,进而提取流中包含丰富特征信息的前1600个字节数据。由于原始流量包含可被分类识别的丰富特征,与特征工程相比,本文的方法可保留更多有用特征信息。后续实验表明,模型从原始流量直接学习特征的方式,减少了模型整体计算量,也提高了模型的分类性能。其次,本文探索将图像处理与上文的流量截取方法相结合,在对原始流量进行数据预处理后,通过图像处理技术将流量数据转换为灰度图像,从而将异常流量检测问题转化为图像分类问题。再次,将原始流量图像分别输入本文提出的MD-CNN(Maxpooling and Dropout Convolutional Neural Network)、TLS-LSTM(Three-layer Stacked Long Short-term Memory)和CNN-LSTM三种新模型中进行训练和测试。其中,MD-CNN模型通过优化卷积神经网络(CNN)来学习原始流量的空间特征;TLS-LSTM模型通过构建深层长短时记忆网络(LSTM)来学习原始流量的时序特征;CNN-LSTM模型通过将MD-CNN和TLS-LSTM级联到同一个分层网络,充分利用原始流量的结构化信息,以同时学习原始流量的时空特征。最后,本文在CICIDS2017新数据集上展开实验。通过与典型深度学习模型以及传统机器学习模型的实验对比,表明本文的三种模型在分类性能上有很大提高,且模型可以快速收敛。其中,MD-CNN模型的分类准确率达到91.8%,TLS-LSTM的分类准确率达到91.5%,CNN-LSTM模型分类准确率达到93.9%,证明分层网络可以更好学习原始流量的特征。此外,本文还探讨了数据包对模型性能的影响,验证了流量截取方案的可行性,以及本文对原始数据流量进行端到端学习的合理性。