异常侦测集群AnomalyDetectionclustering1.ppt

 異常偵測集群Anomaly Detection clustering Anomaly Detection的崛起 根據美國電腦網路危機處理暨協調中心報告指出，在過去的幾年內攻擊事件正以指數方式增加，而目前最常用於入侵偵測的方式是不當行為偵測(misuse detection)，但此方法是利用先前已知的事件建立各種攻擊模式，再比對找出異於正常行為的行為模式。 然而缺點是必須時常更新特徵資料庫或偵測系統，倘若現行攻擊行為不存在於攻擊模式資料中，將無法偵測此行為。 因為如此的限制，使得近來結合Data Mining方法於異常偵測(anomaly detection)受到廣大的矚目與研究。 近來，已有在入侵偵測的問題上應用於集群演算法來改善傳統異常偵測的問題。 集群演算法的好處是對原本的資料不必作標記且不需任何入侵的專業知識，單純利用資料彼此之間的相似與相異程度作分群，因此可找出不當行為偵測(misuse detection)模式下所無法辨識的入侵行為，同時也解決了取的大量正常行為資料的困難，因為現實的網路環境下，攻擊與正常行為並非完全獨立存在。 Anomaly Detection的觀念 異常偵測的主要觀念是在對使用者或網路流量先建立一個正常的行為，再對通過得封包去做對比，假如正常行為產生偏差則視為異常。此種作法的優點是可以偵測未知型態的入侵，但是誤判率會非常高，因為我們很難去定義何謂「正常」?且使用者的行為也經常在變，導致誤判經常發生。 相較於不當行為偵測(misuse detection)，異常偵測不需定義各種攻擊行為模式，而是定義正常行為模式，所以此方法的好處是不需經常更新入侵攻擊的行為模式即可偵測未知的攻擊行為。 Anomaly Detection技術 目前異常偵測所使用的分析方法可分成二大類： 統計分析 (Statistical Analysis)： 利用統計建立正常系統下各項系統徵兆的統計量，平均數、變異數分析，並利用統計檢定的方式來判定系統是否有異常行為發生。 類神經網路分析 (Neural Network Analysis) ： 利用類神經網路具有學習能力的特性，經由適當入侵資料與正常資料的訓練後，使其具有辨識異常行為發生的能力，目前已廣泛使用在信用卡詐欺偵測中。 傳統的異常偵測技術焦點都集中在如何經過訓練正常的資料而發現偵測異常，但是如果要有效果的訓練必須要有清晰的資料，當資料是混雜 (Noisy) 時則不容易被訓練，例如在訓練的資料裡面混雜一項攻擊的指令，則異常偵測方法會假設是正常資料而未發現異常。 在 Eleazar Eskin就提出一項技術，就是可以在大量的正常資料下找到小量的異常行為，利用統計分析的方法來實驗，實驗結果利用槓桿原理的影響，讓少量的異常資料在大量的正常資料中，也可以被放大進而發現異常，因為在某些情況下，清楚且正確的資料是不容易被取得與建立，所以這項應用是可以被加入在傳統異常偵測的方法中。 Anomaly Detection的優點及缺點 異常偵測的優點: 異常偵測主要的優點是不需要針對每一個攻擊徵兆建立資料庫，並提出解決方法，所以在資料庫的成長速度較慢，且在資料比對執行速度會比誤用偵測速度要來的快。 異常偵測主要利用學習的技術來學習使用者行為，僅需要取出某個正常使用者的資料模型便可以進行比對，所以節省了資料定義與輸入的時間。 異常偵測的缺點: 異常偵測主要是以正常使用者的行為模式為主，必須經過使用者一段時間的使用後才能完整的建立，如果使用者行為不斷的改變時，行為模式的建立便會產生不穩定的現象。 判斷正常使用行為也是一項重要的因素，所以在異常偵測演算法時，需要加入一些人工智慧的功能，系統設計的困難度較高，且誤判機率會比誤用偵測較高。 資料集群演算與標稱概念圖 集群演算法本身是非監督式學習方法(unsupervised learning)，因此無法得知每一個集群得本身所含的資訊或其所代表的意義，如下圖之資料集群演算與標稱概念圖所示，集群演算結果仍然無法判斷測試資料的行為模式。 有鑑於此，系統的建立仍須利用標記技術(labeling technique)，標稱每一個集群為正常或攻擊模式，而這一組具標稱的集群變成為我們實驗中異常偵測系統的核心，因此我們可以利用這些具有標稱的集群作測試資料的比對並預測其行為模式。 DM軟體 功能 有/無 SQL Server 2005 X Statistica X Clementine ○ SAS EM X