基于统计分析的高速网络分布式抽样测量模型-NJCERT.PDF

基于统计分析的高速网络分布式抽样测量模型✑ 程光 龚俭 丁伟 东南大学计算机科学与工程系 南京 210096 (江苏省计算机网络技术重点实验室 南京 210096) 摘要 分布式被动测量是研究网络行为的一个重要手段 其面临的主要问题是难以实现高速 网络流量测量 因此需要使用抽样技术 分布式抽样测量技术需要解决两个关键问题 分布 式测量点测量报文的一致性和抽样样本的统计随机性 为此 抽样测量的核心是选择合适的 抽样掩码匹配位串 以保证抽样样本的随机性 且实现分布式测量点的信息一致性 文章对 CERNET 主干网络流量IP 报头各字段的随机性进行分析 结果表明标识字段16 比特满足抽 样掩码匹配位串要求 并对抽样样本的随机性和统计属性进行分析 实验验证抽样样本既能 用于网络行为研究也能用于流量行为研究 关键词 抽样测量 抽样掩码 位熵 标识字段 中图法分类号: TP393 文献标识码: A 1 引言 网络类似于人类社会 虽然是由人所创造 但具有不以人的意识为转移的客观规律 网 络行为学就是研究网络客观规律的科学 使人类能更充分了解 应用发展网络 近十年来 由于网络的飞速发展 网络行为变得越来越复杂 面临的问题越来越多 因此网络行为规律 成为网络研究的重点[1] 研究网络规律首先要了解网络行为 网络测量是基础 网络流量测 量主要有两种方法 [2] 主动测量和被动测量 主动测量 在测量过程中向网络注入用于测量网 络特性的流量 是一种干扰性测量方法 测试流量产生的附加荷载可能会影响网络链路 路 由器的性能状况 [3] 最终可能影响测量结果 被动测量 直接利用网络中已有的流量 是一种 非干扰性测量方法 但被动测量面临高速流量荷载问题 难以实现流量实时测量和处理 目 前的被动测量研究基本是属于单点测量 主要用于计费 统计分析及入侵检测等应用 但有 的网络规律研究 如 网络路由行为 网络端至端性能行为 需要多点协同测量数据 因此 近几年国外出现一些分布式被动测量体系结构[4-6] 为了解决高速网络被动测量问题 早在 1993 年 Claffy[7]测量NSFNET 主干流量时 使用基于事件和时间驱动的静态抽样方法 RFC2330[8]分析抽样测量的随机性 推荐使用泊 松抽样方法实现网络流量抽样测量 这些的抽样模型只适用于单点被动测量 为了能在分布 式体系结构中使用抽样技术 Cozzani[6]测量ATM 位元时使用校验和字段模式匹配实现抽样 但从其文章研究来看 校验和的随机性并不理想 且IP 分组的校验和字段在传输过程中发 生变化 无法实现分布式测量点抽样同样IP 报文 Duffield[5] 提出对IP 分组传输中不变的 字段使用哈希函数实现抽样 哈希函数不能保证样本的随机性 模数难以确定 且抽样算法 运算较为复杂 时间复杂度大 难以实现高速网络环境中实时抽样测量 文章研究在分布式被动测量环境中的抽样测量模型 保证分布式测量体系结构协同不同 测量点的一致性报文信息来实现性能分析 即对于任意一个通过测量域的报文 该报文要么 被其通过的所有测量点所俘获 要么没有一个测量点俘获该报文 将抽样技术用于高速网络 测量 可以在满足问题统计精度的条件下 减少用于测量 存储和处理的数据量 抽样技术 体现随机性 但为了协同分布式测量点数据 抽样模型又要具有确定性 为此 文章对通过 ✑基金项目 本文受国家自然科学基金重点课题 和国家863 课题 2001AA112060 资助 1 CERNET 主干数亿个IP 报文统计分析 提出一种抽样掩码匹配测量模型 其核心是寻找抽 样掩码匹配位串 通过统计分析 发现IP 报文标识字段是掩码匹配理想位串 这个模型能 保证抽样样本统计上的随机性 又能实现分布式测量点之间的一致性 文章首先定义评价报文字段随机性的测度 并提出抽样掩码测量模型 接着基于统计随 机性测度 寻找抽样掩码匹配的