01BusinessIntelligence.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 数据源 商务智能体系中的所有数据均来源于数据源 数据源包括 操作型数据库 历史数据 外部数据 数据仓库中的信息 相关的数据库和数据结构 …… 数据源存在于不同的平台，既可以是格式化的也可以是非格式化的 * 数据仓库 - 概要 数据仓库是BI的重要组成部分和数据基础 其典型工作是要对集成、清洗、聚集、预计算和查询任务所需要的大量数据进行批处理 其主要技术包括 数据提取、转换和装载（extract, translation and load，ETL） 数据管理 数据访问 元数据 * 数据仓库 - ETL 数据抽取、转换和装载（ETL）的过程 辨识与主题相关的原始数据 有用的数据 开发数据抽取策略 正确和完整的数据 将原始数据转换为目标规格 将原始数据加载到预定目标区域 数据目标 原子层（Atomic layer）和集成数据 数据集市（Data market） 操作数据存储（Operational Data Storage, ODS） 缓冲区（Staging area） * 数据仓库 - 数据管理 存储，索引和备份 不仅管理关系数据库中的数据 而且管理数据立方体（ Data Cube ）中的多维数据（multi-dimensional data） 数据仓库 - 数据访问 一种或多种访问数据仓库中的数据的方式 面向多种商业用户 行政管理人员 商务分析人员 操作经理 临时终端用户 其他 需要支持多种访问方式以及分析和展现工具 查询和报告工具 桌面OLAP 关系OLAP 多维OLAP 数据挖掘 基于仪表盘和基于代理技术等方面的客户决策支持界面 * * 数据仓库 - 元数据 元数据是关于数据的数据，是如何管理数据仓库的重要数据。 描述了数据的结构、内容、编码、索引等内容 表名，系统名，索引，数据结构，编码，ID…… 种类 关于数据源的元数据 关于数据模型的元数据 关于数据仓库映射的元数据 关于数据仓库使用的元数据 元数据管理是针对元数据的管理，使用DBMS（关系型、对象、对象-关系）进行管理 * 分析和展现层 报表和查询 联机分析处理（OLAP） 数据统计 数据挖掘 * 报表和查询 针对不同商业用户的报表和查询 尤其是非信息处理专业的商业用户 定制报表和定制查询的能力 非限定的报表和查询种类 * 联机分析处理（OLAP） 提供一种快速的、交互式的、相互融合的信息访问方式 不仅可以回答 “who?”，“what?”之类的问题， 而且可以回答“how?”，“why?”之类的问题 具有以下特点： 对数据进行多维审视的能力 精密计算能力 时间智能 * OLAP的基本分析操作 切片 切块 旋转 数据概括（roll up） 数据细化（drill down） * 数据统计 数据统计是将数据中含有的信息概括为统计值 例如最大值、最小值、平均值等 典型的数据统计方法 关系分析 要素分析 回归分析 * 数据挖掘（1/2） 数据挖掘就是对数据库（数据仓库）中蕴涵的、未知的、非平凡的、有潜在应用价值的模式（规则）的提取 用于发掘数据中隐藏的模式 借鉴各种相关领域的理论和方法 用于发现隐藏模式的算法既可以是自动进行，也可以在人工指导下完成 数据挖掘（2/2） 数据挖掘方法 特征化与区分 关联规则挖掘 分类挖掘 聚类挖掘 时序和挥发性数据挖掘 异常分析 …… 面向的数据类型 关系型数据 事务型数据库 数据仓库 文本数据挖掘 Web挖掘 空间数据挖掘 多媒体数据挖掘 …… * * 商务智能 自我介绍 课程概要 商务智能的起源 商务智能的构件 商务智能解决方案 商务智能的发展 * IBM DB2 Data Warehouse Enterprise Edition 数据仓库引擎 DB2 UDB Enterprise Server Edition – 通用海量并行数据仓库 DB2 UDB Data Partitioning Feature – 数据分区部件 EII 与ETL DB2 Information Integrator Standard Edition – 信息集成中间件 DB2 Warehouse Manager Standard Edition － 数据仓库ETCL工具 查询和多维分析 DB2 Query Patroller – 基于成本的查询负载管理工具 DB2 Cube Views – OLAP元数据交换工具及物化查询表生成器 数据挖掘 DB2 Intelligent Miner Scoring – 数据挖掘评分工具 DB2 Intelligent Miner Modeler – 数据挖掘建模工具 DB