决策支持系统第四讲数据挖掘概述OLA.ppt

数据仓库的元数据元数据的作用——DW的核心定位数据仓库的目录作用；数据从业务环境向数据仓库传送时数据的目录内容；指导从当前基本数据到轻度综合数据、轻度综合数据到高度综合数据的综合算法的选择。分析工具查询工具可视化工具1挖掘工具2数据仓库的工具集提取：从操作型数据库中选择并提取所需要的字段；变换：为来自数据源的数据指定常用的格式和名称；净化：更正错误的数据；加载：把净化过的数据载入到DW数据里；汇总：提前计算出任何期待的DW数据的汇总供以后使用。四.数据进入DW的过程与建立DW的步骤1.数据进入DW的基本过程（教材p221）建立DW的步骤收集和分析业务需求建立数据模型和数据仓库的物理设计（包括划分粒度和数据分割两部分内容）定义数据源选择DW技术和平台从操作型DB中提取、转换、净化并加载到DW中选择访问和报表工具选择DB连接软件选择数据分析和数据展示软件更新DW4.1.3数据仓库的运行结构DW服务器客服端客服端DW服务器OLAP服务器两层C/S结构：三层C/S结构：4.1.4数据集市的结构一.数据集市的概念数据集市是指具有特定应用的数据仓库，主要针对某个具体战略意义的应用或具体部门级的应用，支持用户利用已有的数据获得重要的竞争优势或找到进入新市场的具体解决方案。规模是小的；2.特定的应用；面向部门；由业务部门定义、设计、开发、管理和维护；快速实现；6.购买较便宜；投资快速回收；8.工具集的紧密集成；更详细的、预先存在的数据仓库的摘要子集；可升级到完整的数据仓库。数据集市的特点STEP03STEP04STEP01STEP02数据集市不等于数据仓库，多个数据集市合并起来不能成为数据仓库。各个数据集市之间对详细数据和历史数据的存储存在大量冗余；同一个问题在不同的数据集市的查询结果可能不一致，甚至相互矛盾；各数据集市之间以及与源数据库系统之间难以管理。数据集市与数据仓库的关系DW是基于整个企业的数据模型建立的，它面向企业范围内的主题，而数据集市是按照某一特定部门的数据模型建立的，也称为部门级别DW。数据仓库中存储整个企业内的详细数据，而数据集市中的数据的详细程度要低一些，包含的概要和累加数据要多一些。数据集市的数据组织一般采用星形模型，而大型数据仓库的数据组织采用第三范式。数据仓库与数据集市的区别计算机计算机计算机数据源数据仓库数据分析四.数据集市的两种结构从属数据集市从属数据集市：数据来源于中央DW，一般为那些访问DW频繁的关键业务部门建立。数据源计算机计算机计算机数据分析独立数据集市独立数据集市：数据直接来源与企业的业务功能系统，与企业DW在数据量和服务对象有所区别，逻辑结构无区别。4.2.1数据挖掘概述案例——NBA通过数据挖掘取得飞跃数据挖掘的概念DM也称为数据库中的知识发现（KDD），是从大量数据集中提取出隐含的、非平凡的、潜在有用的信息或模式的高级处理过程。数据挖掘是知识发现的核心步骤。DM的技术基础是AI、机器学习和统计学。被提取的知识的类型可以是总结性知识、关联性知识、分类模型知识、聚类模型知识，这些知识可表示为概念、规则、规律、模式等形式；知识的类型。0102集成目标数据预处理数据模式数据知识源数据预处理数据挖掘评价与解释数据准备数据挖掘评价与解释数据选择数据挖掘的优点与缺点优点减少了用户的工作量。使用户得到意外的信息。对数据的迅速变化可作出快速响应，以提供决策支持信息。数据挖掘的优点与缺点缺点对计算机的性能要求高。意外的信息不可靠。即使发现一个潜在的可以利用的关系，其实际使用价值也可能不太明显。4.2.2数据挖掘基本过程与步骤logo一.数据挖掘的基本过程1.数据准备（1）数据集成：从操作型环境中提取并集成数据，解决语义二义性问题。（2）数据选择：确定发现任务的操作对象；（3）数据预处理：消除噪音、推导计算缺值数据、完成数据类型的转换，削减数据维数或降维。确定数据挖掘的任务或目的；1根据不同的数据的特点，用户和实际运行系统的要求决定要使用的数据挖掘的算法；2实施数据挖掘，获取有用的模式。3数据挖掘数据挖掘的基本过程数据挖掘的基本过程数据表述与评价将获取的信息以便于用户理解和观察的方式反映给用户；用评价指标对获取的信息评价，发现不满足用户需求的模式，并返回到DM的前面阶段，重新实施DM。采取行动检测结果问题定义发现信息制定计划进行数据挖掘的步骤4.2.3