中华资料采矿协会理事长.pptVIP

Data Mining Microsoft SQL Server 2005 謝邦昌 輔仁大學統計資訊學系 教授中華資料採礦協會? 理事長 你不能不知的十大創新技術 改變未來的十大創新技術 機器與人腦的介面 塑膠電晶體 資料採礦(Data mining) 數字權利管理 生物測定學(Biometrics) 語言識別處理 微光學技術(Microphotonics) 解開程式碼(Untangling code) 機器人設計 微應用流體學(Microfluidics) Waves of Innovation Data Mining 處理流程CRISP-DM Data Mining整合微軟商業智慧方案 定義企業問題 (CRISP-DM) 確定目前內部遇到的問題 定義解決的目標是開源或是節流 資料準備(CRISP-DM) 使用資料平台整合性服務(SSIS) 全新的資料轉換工具，SQL 2000 稱之為 DTS 消除異常資料如出生前的消費記錄、離家300公里的日常消費 進行資料載入、轉換、清除過濾與彙整 多重資料源整合至資料倉儲或分析服務 進行資料取樣 處理訓練與驗證資料 根據百分比抽樣 根據筆數抽樣 整合變數使用 衍生性欄位、通用變數…等 文字採礦功能 可擷取單字或是片語 可列舉排除關鍵字 資料檢視(CRISP-DM) 進行建立模型前的決策 檢視資料分佈情況 檢視資料最大最小值 檢視資料標準差 檢視資料平均值 使用的工具 BI Development Studio 模型的建立(CRISP-DM) 將資料切割為: 訓練資料 鑑效資料 測試資料 同一商業問題可以透過多種演算法、調整參數找出最佳模型 微軟提供9種採礦演算法(再加Text Mining) 利用Data Mining 語法 利用Data Mining 建置精靈 模型的評估(CRISP-DM) 模型的評估使用測試資料(CRISP-DM) 利用測試資料集進行欄位對應 選擇輸入資料表 進行欄位對應 模型的評估之累積增益圖(CRISP-DM) 累積增益圖指標 可以判斷不同採礦演算法的準確率 模型效益評估之錯差矩陣(CRISP-DM) 橫軸為預測結果，縱軸為實際結果 用來比較各類預測正確與錯誤之組合 佈署與應用(CRISP-DM) 將採礦的分析結果部署到商業模型中，達到自動化預測的效果，以提升營運利潤、改善商業流程 使用對象 決策者 行銷單位 財務分析 品保單位 整合方案 使用技術 DMX、AMO 、XMLA 資料平台整合性服務(Integration Services) 分析服務(Analysis Services) 報表服務(Reporting Services) Data Mining評估 Data Mining工具 資料採礦工具是利用資料來建立一些模擬真實世界的模式（Model），利用這些模式來描述資料中的特徵（Patterns）以及關係（Relations）。這些模式有兩種用處： 瞭解資料的特徵與關係可以提供你做決策所需要的資訊。 資料的特徵可以幫助你做預測。 Data Mining的商業價值 9個新algorithms+Text Mining 親切的使用者介面 12 種 viewer 與現有 BI 系統整合 與 Web Office 整合 完整的演算法 Data Mining在各產業的應用 金融服務業 客戶貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷等。 保險業 顧客貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷、客戶流失分析和詐欺偵測等。 電信業 顧客貢獻度分析、信用評分、客戶區隔、交叉行銷、客戶流失分析、銷售預測和詐欺偵測等。 Data Mining在各產業的應用 製造業 客戶貢獻度分析、品質管制、行銷績效分析、生產分析和存貨分析等。 零售業 客戶忠誠度、客戶區隔、購物籃分析、定價分析、交叉行銷和銷售預測等。 生物科技、醫療保健、航太空業、環境、法律等 商業智慧流程 商業智慧的核心 如何收集資料 營運資料，市場調查資料，固定Panel追蹤 如何管理資料 ETL，Data warehousing 如何從資料中獲取智慧 Data Mining，OLAP，Statistics 如何應用智慧 行銷策略，主管決策，互動化CRM機制 商業智慧之整合運用 「不論是行銷或服務部門，如何將分析所得到的資訊，進一步轉換成經營管理可資利用的材料，並且在實際線上作業環境中，將整個回應機制完全自動化，充分運用這些資訊。」 「將資料分析所得的結果回饋入企業資源規劃系統(ERP)，客戶關係管理(CRM)以及電子商務(EC)等系統中，藉此快速地提昇在這些系統上所花費大量支出的投資報酬率（return on investment, R