资料仓储与资料探勘.ppt

資料倉儲與資料探勘 資料倉儲之介紹 資料倉儲之介紹(續) 資料倉儲之定義 資料倉儲之定義(續) 資料倉儲之特性 資料倉儲之技術 資料倉儲之技術(續) 資料倉儲之優缺點 資料倉儲之優缺點(續) 資料倉儲之優缺點(續) 資料倉儲之優缺點(續) 資料倉儲之發展架構 資料倉儲之發展架構-資料收集 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統分析 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統設計 資料倉儲之發展架構-系統維護 資料倉儲之發展架構-系統維護 資料倉儲之實例 資料倉儲技術之挑戰 資料倉儲技術之挑戰(續) 安全性 評估並做好重要資料的存取控制 做好存取資料權限的控制管理 資料層面 資料品質 掌握資料的一致性及普遍性 (資料來源整合) 資料萃取(extraction)、傳播(propagation)、和轉換 (transformation)的品質 評估資料的正確性 更新時保持資料的同步性及一致性、更新頻率 歷史資料的時間性 彙總資料管理 彙總資料之分析處理該如何建構 彙總資料的元素(data element)應該包括哪些內容 資料庫管理 目前系統能否因應未來成長需求 資料權限控制 資料查詢 需提供一友善的前端查詢介面 應完善評估查詢工具 (工具與軟硬體相容性、直接 存取或ODBC) 查詢工具挖掘(drill-down)能力的評估 評估資料查詢的反應時間、即時性與穩定性 系統維護 此階段須工作小組與使用者相互配合。以下從系統、資料、使用者三方面討論此階段的工作項目 系統方面 系統的資料存儲量必須容納未來的成長 安全性是維護的重點 再新增設備時須考慮系統整合性 系統效能的管理 (反應時間、搜尋速度) 資料方面 需按時程更新，並將更新情形告知使用者 彙總資料的管理是一項重點 管理資料量的成長是重要工作之一 使用者方面 使用者的教育訓練是此階段重要的工作 系統正式上線後，需讓使用者有緩衝時間適應新系統 此階段的產出物，是一套運作穩定的資料倉儲系統 * * 資料倉儲的目的是希望藉由整合公司內部的資料並綜合各種外部資料，進而對公司重要決策者提供一個整體的、廣泛的訊息認知、以供完成一策略性的決策 根據Meta Group在1993年的調查，僅有5%的公司對資料倉儲有興趣。到了1994年已上升至90%，可見未來幾年資料倉儲是一極為重要的成長領域 根據Meta Group的調查，資料倉儲的軟體硬體服務與市場規模將由1996年的20億美金成長到2000年的120億美金，使得如IBM、Oracle等知名大廠紛紛投入此一領域 根據IDC在1996年對62家公司所作的研究顯示，資料倉儲的投資報酬率最高可達到600%，且有一半財務利益來自於決策的制定，顯示資料倉儲確實可以支援組織的決策之制定 資料倉儲之父Bill Inmon認為資料倉儲為決策支援系統的核心 Bill Inmon和Chuck Kelley認為資料倉儲不僅為資料庫、且具有下列特性： 整合性：包含應用程式、資料庫、電腦系統 主題導向：回答組織特定問題 時間變數：隨時間變化的動態資料 非變動性： John van den Hoven認為資料倉儲是經改良過的決策支援系統，可產生高階的(high-level)、整合的(Integrated)、系統化的(organized)、結構化的(structured)資料以應用於協助商業決策 綜上所述，資料倉儲是經由建立集合式的資料倉庫，從多個分散的資料來源中蒐集資料，配合分析工具，支援決策者的決策制定 傳統資料庫著重於單一時間之單一資料處理(one record at a time)、偏重於擷取詳細之資料以供參考、注意資料檔的構成及資料正規化(normalization)，且使用者多為中階經理人員 資料倉儲注重某一段時間內之綜合資料(summary data on a given time period)、注重大批資料提供之走向趨勢、注重資料本身所內涵之意義及訊息，且使用者為決策支援系統和高階主管資訊系統的使用者 資料儲存(Data Store) 現在資料倉儲中之資料儲存可稱為作業型資料儲存(Ope