论文部分内容阅读
网络流量分析技术包括对网络主机地址、网络互连、网络应用以及网络用户行为等多个关联实体的研究分析,对网络资源分配、网络服务质量提高都具有重要意义,其中以网络主机地址为研究对象的网络流标定,是精细化网络管理的新趋势。本文通过对网络流量产生的通联日志进行分析,研究以通联日志为基础的网络地址属性标定技术,主要研究内容包括:1.提出并实现了基于双哈希表数据结构的网络通联信息管理方法。高速网络流完整接收和实时计算是核心网络流分析的一大挑战,本文设计通联日志这一流描述格式,保留通联信息过滤数据包负载数据,以大大降低流数据处理成本。通联日志接收预处理节点使用双哈希表通联信息记录管理结构和多核多线程并行计算,最终达到单机每秒600万条通联日志的实时处理能力,预处理节点计算前后数据量压缩比达到95.7%。2.在对网络地址属性进行标定过程中,以地址活跃明暗度和截至当前的地址通联情况为依据,定时在增量叠加数据集上施加属性标定模型计算,以提高网络地址相关数据的实际贴合度。提出并实现了基于MapReduce的地址属性标定计算模型,借助Hadoop分布式并行计算能力,达到每半小时28GB数据的合并分析,最终完成对2天总计28亿活跃地址的网络角色类型属性标定存储。3.研究常见地址业务属性模型,调整UNIBS数据集使符合本文系统数据形式,在该数据集上测试对比常用的6类机器学习基分类器标定准确度和差异度,最终提出基于加权置信度的组合地址业务分类算法。结果表明本文算法对于UNIBS中32类应用的整体分类准确度较ZeroR分类器有40.57%提高,相比该样本空间的最佳基分类器J48的分类准确率提高1.8%。相比于基分类器该组合算法置信度也有提升,其业务置信度的最高提升31.85%,平均提升2.59%。