Fall资管所资料库系统专题.doc

2007 Fall資管所資料庫系統專題Final Project DBMS support of the Data Mining Advisor: 黃三益 博士 Student: D954020005 楊宗憲 D954020006 王士豪 二○○八年一月二十三日 目錄 2007 Fall資管所資料庫系統專題 Final Project 1 1 Data Mining簡介 5 1.1 Data Mining 之定義 5 1.2 Data Mining進行的程序 6 1.3 為何使用Data Mining 8 2 Data Mining之相關演算法與功能 10 2.1 支援DM之演算法介紹 10 2.2 DM之主要用途 10 3 Data Mining SQL查詢語法 13 3.1 關聯法則探勘的幾種方案 13 3.1.1 MSQL 14 3.1.2 DMQL 15 3.1.3 OLE DB for DM 15 4 OLE DB for DM查詢語法實作技術 17 5 結論 19 6 感想 21 6.1 by 宗憲 21 6.2 by 士豪 22 圖目錄 圖 1 Data Mining 之前置步驟 6 圖 2資料採礦進行的步驟 7 圖 3建立DM model 16 圖 4 Data Mining 在企業中之角色 19 表目錄 表 1 DM之應用軟體與工具 9 表 2不同演算法對於不同用途之支援 12  Data Mining簡介 Data Mining常有人稱之為「資料採礦」或「資料探勘」。顧名思義，就是在一大群資料(礦坑)中，找到我們所需要的資訊(礦)。更嚴謹地說，Data Mining是幫助我們在一大群資料中找出pattern，賦予原本雜亂無章的資料意義，進而從中歸納出理論，而這些理論必須要有助於我們解決問題，當pattern成為知識後將創造出更大的價值，目前有商業上很多的DBMS除了基本的資料庫管理之外，也紛紛添加了資料探勘的功能在其中，此外學術中更不乏有許多新的演算法提出，藉以改善資料探勘之效能，以下第一章將先針對Data Mining作一初步之簡介。 Data Mining 之定義 資料探勘所指的是在一個確定資料中有效的，可能有用的，並且最終能被理解使用的模式，資料採礦的過程是為要發現出有意義的樣型或規則，而必須從大量資料之中以自動或是半自動的方式來探索和分析Data。 資料探勘也是一種新的且不斷循環的決策支援分析過程，它能夠從組合在一起的資料中，發現出隱藏價值的知識，以提供給企業專業人員參考 基本上，Data Mining是用來將你的資料中隱藏的資訊挖掘出來，所以 Data Mining 其實是所謂的 Knowledge Discovery 的一部份，ntelligence) 也是常見之說法。 Data Mining 使用了許多統計分析與 Modeling 的方法，資料中尋找有用的特徵（Patterns）以及關連性（Relationships）。 Knowledge Discovery 的過程對 Data Mining 的應用成功與否有重要的影響，只有它才能確保 Data Mining 能獲得有意義的結果。Data Miming 的工具是利用資料來建立一些模擬真實世界的模式（Model），利用這些模式來描述資料中的特徵（Patterns）以及關係（Relations)。這些模式有兩種用處，第一，瞭解資料的特徵與關係可以提供你做決策所需要的資訊。第二，資料的特徵可以幫助你做預測。 2.資料選擇與清除 3.任務選擇 4.選用Data Mining 演算法 5.建立知識pattern 圖 1 Data Mining 之前置步驟 圖二則為資料採礦進行的步驟，共可分下列八項 ?1. 理解資料與進行的工作 ?2. 獲取相關知識與技術（Acquisition） ?3. 融合與查核資料（Integration and checking） ?4. 去除錯誤或不一致的資料（Data cleaning） ?5. 發展模式與假設（Model and hypothesis development）? ?6. 實際資料採礦工作 ?7. 測試與檢核所採礦的資料（Testing and verification）? ?8. 解釋與使用資料（Interpretation and use） 圖 2資料採礦進行的步驟 為何使用Data Mining 因為數位化之時代，資訊之爆炸性成長使得資料不僅存於資料庫當中，更應由龐大之資料當中挖掘出有用之知識，而資訊之爆炸性成長主要是在數位化中有下列之特性： 資料大量產生: 電腦的使用率日漸普及，所以各個行業都普遍使用電腦來