互联网是20世纪最伟大的发明之一。时至今日,互联网已成为信息化的重要平台、重要工具和重要组成部分。随着互联网的发展,网络规模日益增大,网络异构性和复杂性不断增强,互联网已演变成为一个开放的、高度异构的复杂巨系统,同时也给网络的管理、行为分析等带来一系列困难。互联网测量技术是对网络进行认识与深入研究的重要手段,是进行网络安全评估,防范大规模网络攻击的重要保障。本文从测量技术、软件支撑平台和实现三个层面,深入研究了大规模互联网网络测量中所面临的部分关键技术问题。论文在研究互联网物理拓扑自动发现算法的同时,提出新的思路解决了网络性能数据抽样、高速互联网流量数据处理所面临的算法难题。本文主要的创新点体现在以下几方面:(1)提出了一种新的基于交换机的物理网络拓扑发现算法。该方法用树的演绎方法遍历所有的顶点和边,完成拓扑发现,与现有算法相比,其时间复杂度有较大降低,推导方法也更为容易理解。所提出的判断理论,能够判断拓扑图中的边缘节点、边缘连线和进行树的演绎过程推导;提出的将交换机物理拓扑关系表述成多棵树的形式,支持存在缺失连接关系的拓扑结构发现。解决了由于VLAN划分造成的设备端口与MAC地址无法对应的问题。指出“拓扑发现仅需要地址转发表不需要生成树”这种错误的观点,因为地址转发表获取的仅仅是连接的对方端口的MAC地址信息和本端虚拟端口编号,虚拟端口映射到本地实际端口必须通过生成树(BRIDGE-MIB:dot1dBasePortTable: 1.3.6.1.2.1.17.1.4)的映射关系才能够获取。文中从理论和实际应用方面论证了该拓扑算法的效率、准确性和有效性。(2)提出了一种自适应的网络性能数据测量抽样方法(Network Data Measurement and Statistics Model, NMSM)。该模型根据性能采样数据的实时分析结果,动态调整样本的采集频率,来提高被测数据的精度,其误差较传统概率抽样统计方法要小。文中论证了NMSM模型采集样本估计量的无偏性和一致性。与均匀抽样和泊松抽样相比,NMSM模型在样本变化不大的情况下,会降低采集周期减少对被测网络的额外影响。实际测量结果表明,该模型在网络数据变化比较平稳时,对网络的影响程度较低,在网络数据变化比较大时,对真实数据的拟合程度则较好。(3)提出了高速互联网流量测量的数据处理方法。该方法根据处理点的不同将流数据测量分成不同的种类,指出了基于SNMP采集的流量数据包具有瞬时性的特点,NetFlow流量数据包具有累加性的特点。在此基础上提出了一种在采集程序和数据库之间实现的流数据处理方法,充分利用了采集器的运算性能和数据库的存储记忆性,建立了对流数据包的自动关联分析。论文提出了一种基于流量占用率的数据处理算法,在数据处理前对异常流进行分析,保存重要流数据和过滤非重要流数据;提出了一种基于流数据包的归并算法,根据时间窗口对数据进行归并压缩,极大程度节约了测量数据存储空间。论文对上述算法的正确性和存储效率在实际环境中进行了验证。(4)提出了一种基于分类的可靠事件服务设计方法。该方法符合分布对象标准J2EE/CORBA规范,提供异构环境中对象之间的双向通信能力,并在信息传送过程中对事件进行分类处理,保证事件在不同应用环境中都能够及时可靠传递。提出将可靠事件机制运用到NetManager的消息传递流程和告警处理流程,提供信息的及时、无误传递,保证系统在大型企业级应用中能够稳定、可靠运行。(5)提出了一种可靠的、分层的测量管理平台架构,设计并实现了互联网综合测量系统NetManager。该系统实现了网络性能测量NMSM抽样算法,解决了高速互联网NetFlow流量数据包的存储效率问题,并支持基于网络层和链路层的网络拓扑自动发现。NetManager由平台支撑层、数据采集层、平台应用层组成,实现了“插件式应用”的理念,保证了软件系统的稳定性、可复用性和可扩展性。