论文部分内容阅读
随着计算机网络技术的快速发展,用户数量和应用的种类、规模以近乎指数规律增长。在这种急剧膨胀的驱使下,网络规模不断扩大,网络流量不断增长,网络结构和网络行为越来越复杂,网络运行也越来越容易出现技术性问题。目前,研究人员主要通过网络测量,获取网络中各类应用的流量差异,以及影响网络性能和服务质量的因素,从中探寻这一庞大非线性复杂系统所表现的未知行为,进而为技术和管理策略的改进提供参考。被动测量由于对网络运行无干扰,测量数据能最真实地反映网络行为,所以被广泛应用于网络测量工作。但是,对于主干速率在1Gbps以上的大规模高速网络,海量数据的采集、整理、分析处理等都是被动测量需要解决的难题。
本论文的研究内容和相关工作,着重于大规模高速网络被动测量这一背景下,与测量和网络行为分析密切相关的海量数据采集后的归并整理和分析处理这两大难点。论文将详细探讨多链路高速主干信道报文数据的归并整理策略,研究和实现一个适应大规模高速网络海量数据处理需求的IPTrace数据分析系统-IP TraceAnalysis System(IPTAS),并利用1PTAS对采集自CERNET江苏省网边界信道的Trace进行分析。
论文首先研究在CERNET江苏省网边界信道上采集的并行报文数据的归并整理策略。论文介绍了2005年11月10日利用Watcher1.1系统采集的数据特征,并针对数据中的存在问题,详细分析了产生原因。为了将数据整理成可在研究中使用的Trace,论文设计了时戳乱序报文的排序算法和并行报文数据的多路归并算法。在此基础上设计了两个数据整理工具,并利用它们,在计算机集群系统上完成了数据的排序和归并。论文还研究了Watcher1.1系统内采集器之间的时钟相对漂移对Trace中报文时戳的影响。
然后,论文设计和实现IP Trace数据分析系统(IPTAS)。论文分析了系统的需求,提出IPTAS应该具有支持良好扩展性的体系结构,以支持在使用系统的过程中只经过简易步骤就可以扩展系统的数据分析功能。论文根据系统7个方面的需求概要设计了IPTAS应该具有的功能,对IPTAS中的关键问题进行了详细研究,并给出具体的解决方案。在解决了关键问题之后,论文依据功能设计和关键问题研究中设计的体系结构、模型与过程,实现了IPTAS,得到一个基于网络的、支持多用户的IP Trace数据分析系统。
最后,论文对IPTAS进行测试。测试表明,符合规范的数据分析算法能够经过简易的过程成功扩展到系统框架之下,并成功进行数据分析,相关功能达到了预期目标。论文利用IPTAS分析一个Trace,并根据分析结果总结了CERNET报文在时间和空间上的一些分布特性。