基于度分布的流量异常在线检测方法研究.docVIP

基于度分布的流量异常在线检测方法研究 　　摘 要：快速准确地诊断流量异常是大型计算机网络有效运行的关键，然而其通常存在两方面不足，一方面网络流量数据无法进行实时详细的分析，另一方面，一些通用的检测指标诊断异常的能力较低。为了解决相关问题，提出基于度分布的流量异常在线检测方法。在该方案中，首先利用度分布配置流量特征，然后用熵来确定和反馈度分布的变化，通过改变熵的值，从而准确区分一个网络事件通过阈值时是否正常。该方案的测试结果表明，它对在线异常检测是可行和有效的。 　　关键词：异常检测；在线检测；度分布；熵；流量特征 　　DOIDOI：10.11907/rjdk.162346 　　中图分类号：TP309 　　文献标识码：A 文章编号文章编号2016）011018402 　　0 引言 　　异常流量相对于平稳的网络流量有着显著变化，它来自于网络中的拥塞和路由器上的资源过载。网络运营商必须及时准确地检测异常流量，否则网络无法有效、可靠地运行[1]。研究人员采用了各种分析技术，从基于体积分布的分析到基于网络流量分布的分析来研究流量异常检测。而最近研究表明，基于熵的异常检测具有更好的效果。该方法是在流量分布中捕捉细粒度的模式，使用熵来跟踪流量分布的变化具有两方面优势：①利用熵可以提高检测灵敏度，异常事件的发生可能未表现出存储量异常；②使用流量特征可以诊断信息异常事件的性质（如区分蠕虫、DDoS攻击或扫描）[2]。 　　一般而言，大多数研究者认为Flow头的功能（如IP地址、端口和流量大小）可作为基于熵的异常检测的备用选择[3]。然而，端口和地址分布的两两相关性大于0.95，异常检测到的端口和地址分布明显重叠，这是产生深层流量模式的本质原因。此外，异常扫描、DoS和P2P事件都不能通过端口和地址分布进行精确检测，或只有在显著的网络流量异常事件发生时才能检测出异常。考虑到端口和地址分布的有限作用，应选择流量分布作为基于熵的异常检测指标。 　　本文提出一种利用度分布提高端口和地址分布检测能力的异常检测机制。使用入度和出度分布来估算每个主机通信的目的/源IP地址，对于每个入度值（出度值），通过计算熵来诊断异常。其中，选择目的/源IP地址作为唯一备用指标，而不是两个地址和端口，不需要使用具有相同底层属性的不同分布来增加计算开销。同时，为了捕捉动态网络流量的本质，引入了一个固定时间宽度的滑动窗口机制。 　　1 相关研究 　　网络流量的异常检测是保证网络正常有效运行的重要手段。网络流量异常检测技术自提出以来，经过多年发展，诞生了多种检测方法，但这些方法通常都存在一定缺陷。因此，如何进一步提高检测准确性、减少误报率仍然是国内外学者的研究热点。其中，许多方法都集中在使用流量分布来诊断异常，如Thottan[4]使用单独的MIB变量的统计分布来检测网络流量的突然变化。在各种异常统计检测技术中，基于熵的方法已被证明在检测异常的流量矩阵时间序列中的准确性和效率。张航等[5]利用最大值和相对熵建立了一种基于行为的异常检测方法。以最大熵为基础的基线分布由预先标记的训练数据构成，但该基线适应网络流量动态变化的机制仍然不清楚。本文提出一个机制，根据动态网络流量在测量期间的变化来构建自适应基线，并调整基线在一个特定的时间跨度内。 　　在线检测异常受大流量数据的实时统计影响。吴静等[6]采用五元组流分布（即源地址、目的地址、源端口、目的端口、协议）进行流量分析，导致内存和处理能力的高开销。一些网络入侵检测系统，如FlowMatrix与Snort匹配数据包到一个预定义的规则集，使它们无法检测未知异常[7]。本文认为地址和端口具有高相关性，并使用地址作为独特的度量来代替元组，用于检测异常度分布的熵，不仅可减轻计算过程中在线分析阶段的开销，而且在发现新的异常类型方面比常规方法效果更好。 　　2 基础理论 　　大多数流量异常都有一个共同特点，它们诱导流量头特征分布的异常变化，如源地址、目的地址与端口，一般显示出分散或集中分布的现象[8]。 　　例如，图1显示了3种类型攻击的流量特征分布。图1（a）显示了一个典型的分布式拒绝服务（DDoS）攻击。在这种情况下，大量主机发送信息到一个特定主机。同样，许多网络蠕虫通过发送随机探测，即到随机区域产生大量目的地IP地址，从而使受感染的计算机继续感染其它脆弱的计算机，如图1（b）所示。在一些扫描事件中，一个源IP地址随机扫描多个IP地址，如图1（c）所示。 　　从以上分析得知，网络流量发生异常时，会使源/目的地址、源/目的端口分布出现变化（见表1）。接下来需要研究：①采用什么指标可以准确配置这些异常流量特征，并明确表明上述攻击的发生；②如何有效地量化异常大小，并揭示非正常的流量行为。