企业竞争的利器数据仓库和数据挖掘.ppt

电信企业参与竞争的利器----数据仓库和数据挖掘 提要 市场竞争--竞争技术 数据仓库的基本认识 数据仓库设计 数据挖掘 数据融合 动力系统 研究 我们的实践 市场竞争--竞争技术 随着电信市场的开放，竞争将越来越激烈 利润的降低使得必须从粗放的经营转变到集约的经营 经营决策需要尽可能多的定量的依据 经营决策需要尽可能快的速度 所有这些需要技术上的支持----数据仓库和数据挖掘 数据仓库的基本认识 数据融合 融合的不同层次 原始数据的融合 特征融合 模型融合 融合的不同方面 时间融合 空间融合 时间/空间或空间/时间融合 系统的数据融合 业务数据体系 指标体系 数据融合 数据融合的高级境界 战略数据分析 态势评价 博弈理论 商场如战场--运用军事理论 关键是模型的建立 基础是数据仓库的建立 动力系统 企业实施数据仓库和数据挖掘战略的重要问题是建立一个有效的动力学系统 反馈是一个有效的动力系统最重要的环节 反馈的相关要素有反馈的量和反馈的时间延迟 目前的主要问题是 没有形成有效的反馈环路 反馈的量不够 反馈的时间太长 反馈的解决 建立有效的反馈通路 基于WEB的计算技术 增加反馈的量--到企业领导的手上 移动计算 人机界面 数据融合 缩短反馈的时间 高性能计算--亿次计算 研究 一般人用一般的工具 Normal use normal 数据仓库--企业竞争的基础 数据挖掘--企业竞争的秘密武器 数据融合--战略竞争的武器 需要有效地实施--过程与架构 需要深入地研究 我们的实践 首先在视聆通后台管理系统中应用，使用Sybase的数据仓库解决方案和BusinessObjects的联机分析解决方案，能够在3分钟的时间里对全省数据进行任意的查询，并能够通过WWW的方式进行在线分析并发布分析结果。 目前与我院网络市场部合作在电信市场经营支撑系统中进行更大规模的应用 长期的研究：在数据挖掘方面参与国家重点基础研究规划项目（“973”）有关海量数据库中的知识发现研究 数据集市数据模型设计 数据集市是数据仓库中数据的一个子集, 用于解决某个业务部门特定的应用需求. 数据集市数据模型设计 数据集市: 从数据仓库中派生出来 可以和数据仓库存放在同一 平台上,也可以分开. 应该把它作为数据仓库的一部分 来建设 Archived detail Enterprise-wide Individual M E T A D A T A Data Mart Individual Data Mart 多维模型 多维模型是人们观察数据 的形象表示 可以是 2, 3, 4或更多维 可以对多维模型进分析 -- 即: 选择哪维作为查询条件. Product Lines Regions T i m e 传统的数据模型比较复杂, 最终用户难于理解 多表联结(Join)查询(尤其是大表), 既费时,又占用大量资源 多维模型: 基本概念 维: 是人们观察数据的特定角度 维成员: 维的取值. 维层次: 代表维的细节程度. 比如: 时间维的层次可以是 年, 季, 月, 周,日, 等等. 类: 维成员互不相交的一个子集. 多维分析: 指对以维形式组织的数据采取切片,切块和 旋转等动作, 以求全面深刻地分析数据. 切片(Slice): 按照某一维取值做查询. 切块(Dice): 按照一维或多维取值做查询. 旋转: 改变一个报告或页面显示的维方向. 维表: 存放维数据. 事实表: 由事实数据元素和维数据元素组成. 事实表是多维 多维模型的核心. 事实数据是决策分析的数据基础. 多维模型: 怎样建立维表和事实表 建立维表和事实表要考虑: 建立中央事实表, 它存储大量数据. 事实表周围, 维表的数目要少, 并且维表中的数据量要小. 关键是要控制维数, 它直接影响数据粒度. 注意1: 多维模型是非范式化的, 大量的事实数据可能是重复的. 2: 多维模型通常不适合企业级的模型分析, 因为在企业级, 数据量太大并且太复杂. 多维模型: 多维数据模型的四种模式 星型模式(Star Schema) 雪花模式(Snowflake Schema) 星座模式(Constellation Schema) 雪暴模式(Snowstorm Schema) 多维模型: 星型模式 Grocery Transaction Store Number Transaction Date Customer Product Quantity Amount Customer Customer From Date To Date First Name Last Name Address 1 Address 2 Address 3 City State Co