基于HMM通信流量异常检测.docVIP

基于HMM通信流量异常检测 　　摘 要：选用HMM在原模型的基础上针对算法下溢、概率转移矩阵过大、计算结果P（O|Ψ）值过小等问题分别进行优化。使用优化后的HMM对训练集进行训练，并根据训练结果，调整部分参数使模型正确率得到提高。实验结果证明HMM在通信流量时间序列异常检测方面效果更好。HMM作为异常检测的基本算法，因其不需要针对每种类型的异常点分别进行优化，从而降低了复杂度，且对未知异常值也有一定的检测能力。 　　关键词：异常检测； HMM； 时间序列 　　Abstract： The optimized HMM is used to train the training set， and some parameters are adjusted to improve the accuracy of the model according to the training results. The experimental results show that the accuracy of HMM is better than that of ARIMA model. As the basic algorithm of anomaly detection， HMM reduces the complexity because it does not need to optimize the exception point for each type， and also has certain detection ability for the unknown outliers. This paper uses distributed Euclidean distance algorithm， distributed ARIMA optimization model and distributed HMM optimization model to detect abnormal test set data. In order to compare the differences of distributed algorithms， a comparative experiment is designed and implemented. 　　Key words： anomaly detection； Hidden Markov Model； Time series 　　引言 　　一直以来，通信流量数据的分析是一个热门话题，很多网络管理人员都很注重通信流量的异常检测。在很多大公司以及企业中，主机的通信流量异常可直接作为检测主机通信故障的依据。因此，如何快速发现和定位主机通信流量中的异常成为时下的一个热门研究课题。近年来有些研究人员提出了一种新的主机通信流量异常检测方法，该方法的原理是通过一定的方法将时域流量信息转变到频域，并根据频域的特征来进行异常检测[1-2]。也有研究人员提出可以利用小波分析理论的结果来进行通信流量异常检测，实质上该结果为类异常检测的结果。但该理论有其局限性，因为使用的算法实现起来极其复杂，所以在处理海量数据实时计算方面效果不尽人意。除了域变换的方法，也有研究人员提出可以利用通信流量数据自相似性的特征来进行异常流量检测，根据流量的参数变化情况来判断该时刻是否出现异常。但是这种方法准确性不是很稳定，在网络繁忙且样本量大的时候检测结果较为准确，而当网络处于空闲时段时，由于流量的自相似性不强，其精度会有所下降[3]。 　　1 HMM模型及算法研究 　　应用HMM异常检测的一般步?E可以分为以下4点[4-5]： 　　（1）对数据进行标准化处理，可以使用Min-Max或者Z-Score标准化方法。 　　（2）构建HMM，初始化模型。 　　（3）反复训练确定模型参数以及阈值。 　　（4）检测测试集，给出分析检验结果。HMM异常检测步骤如图1所示。 　　在时间序列的异常检测中引入五元组的HMM，Ψ=（S，O，A，B，π）。异常检测中状态有2个值0或1，0为正常状态，1为异常状态。 　　其中：S为马尔科夫链中的状态数；O为观察值集合；A为状态转移矩阵；B为给定状态下观察值概率矩阵；π为初始化概率。 　　基于HMM的异常检测方法在对训练集数据学习时使用的是Baum-Welch算法和Viterbi算法，异常检测时使用的是前向算法。 　　1.1 数据预处理 　　本文使用的数据是主机通信流量数据，其中异常点均有标注。将数据存储于MySQL中，通信流量序列的每点之间的时间间隔为5 s，即在样本采集时每隔5 s采集一次通信流量值。主要内容是类似于（20151028142645，520 697）这样的键值