基于统计异常流量发现检测技术.pdf

基于统计的异常流量发现检测技术 1.1 引言 大规模网络流量异常发现技术的本质是在寻找网络自身特征的的异常变 化，即在一定的时间和空间范围内，网络自身的特征会发生明显特性的变化，甚 至是剧烈的改变。由于恶意代码的在互联网上的传播具有相当的复杂性和行为不 确定性，所以对其监测有一定的难度。 鉴于网络流量具有自相似性，符合一定周期函数。虽然网络流量随时间在 不断增长，但是其曲线仍具有自相似性，特别是在广域网上进行较长周期的统计 流量更能显现出自相似性的特点，本章通过统计分析正常的网络流量数据，提出 正常情况下描述网络流量的理想曲线的方法，运用统计学方法建立大规模网络流 量的数学模型。通过对任意一个时间周期内的流量曲线和正常流量曲线的对比， 来发现当前流量是否发生异常，当异常流量达到某个临界量的时候，即可以判断 出蠕虫疫情暴发。为此在哈尔滨工业 学的教育网出口上进行半年多的统计分 析，验证了上述结论。 1.2 网络流量模型 1.2.1 网络流量模型建立的前提条件 如果把网络上所有可用资源视为节点P ，用P 的数量M 近似代表网络规模， 假设本模型研究的网络对象为N ，则本模型适用的N 必须符合以下条件： 图 0- 1 哈尔滨工业 学校园网流量曲线形状 Fig. 0- 1 The curve shape of network flow in HIT 第一，单个或少数节点P 的状态对整个网络N 不会造成很大的影响；第二、 N 的规模M 不会产生突变，整个网络资源利用规律从总体上看在一定时间段内 保持相对稳定，网络流量具有周期性。第三、整个网络流量是可检测的，检测方 法是对流经出口的流量作镜像，进行旁路监听。 以上假设的条件是为了保证N 的流量情况是有规律并且是可以被检测的， 一般来讲对于一个企业内部网、校园网 是甚至一个省的总出口来讲都符合这种 假设。图 0-1 是哈尔滨工业 学校园网在一个时间段内出如口总流量的统计数 据。 1.2.2 模型建立过程中数据的预处理 用函数f (t )代表N 在t 时刻的流量。根据前提条件 是一个周期函数。考 f (t ) f (t ) T 虑函数 在其周期 中的变化，建立原始周期曲线，图2 为原始周期曲线。 0 图 0-2 原始周期曲线 Fig. 0-2 The original curve shape in one period 由于原始曲线上的点可能会产生突变(例如监测系统突然断电使统计数据量 为 0 等原因) ，在对原始数据处理时，利用最小二乘法对原始流量曲线作一下平 滑处理。 图 0-3 利用最小二乘法进行线性回归后的曲线 Fig. 0-3 The curve shape after linear regression with the least-squares procedure 1.2.3 建立正常流量模型 在建立正常情况下网络数据流模型时，主要从两个方面考虑：流量 小和 流量曲线形状。分别构造函数来描述这两个特征量，通过对特征量分析来实现对 网络数据流异常的发现。 流量的 小 在一个周期[T , T + T ] 内网络流量f (t) 的平均值为Avg ,如果把T 取为时间 0 原点( T = 0 ),则： T +T T 0 0 Ú f (t) dt Ú f (t) dt Avg = T = 0 (2-1)