数据库第12章数据库技术新进展.ppt

* 兰彬制作 * 数据挖掘的主要步骤(1) 1．数据收集 数据可以来自于关系型数据库、数据仓库、Web上非结构化的文件，不同的数据存储，需要不同的数据收集方式。 2．数据整理 数据收集阶段得到的数据存在一定的“污染”（例如，自身不一致性、存在缺失数据），必须对数据进行一定的整理。 通过数据整理，可以对数据做简单的泛化处理，从而在原始数据的基础之上得到更为丰富的数据信息，进而便于下一步数据挖掘的顺利进行。 ? 数据清洗 ? 一致性处理 ? 数据泛化 ? 添加缺失数据 * 兰彬制作 * 数据挖掘的主要步骤(2) 3．数据挖掘 根据任务要求，选择合适的挖掘方式，产生感兴趣的知识。不同的知识类型所选取的挖掘方法也不同。 4．数据挖掘结果的评估 根据用户经验，也可以直接用实际数据来验证模型的正确性，进而调整挖掘模型，不断重复进行数据挖掘。 5．分析决策 决策者可以利用数据挖掘的结果，结合实际情况，调整竞争策略等。 以上数据挖掘经过的各个环节并不是单一流程，只有经过多次的循环反复，才可能达到满意的结果。 * 兰彬制作 * 不同存储形式的数据挖掘 1．关系型数据库中的数据挖掘。 2．数据仓库中的数据挖掘 3．面向应用的新型数据源中的数据挖掘 4．Web数据源中的数据挖掘 * 兰彬制作 * 数据仓库与OLAP 数据仓库是一种为信息分析提供良好基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集成数据集合。数据仓库技术让用户能更快、更方便地查询所需要的信息，以便进行决策支持。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 * 兰彬制作 * 关系型数据库与数据仓库中的区别 关系型数据库 数 据 仓 库 操作型数据 分析型数据 细节的 综合的或提炼的 在存取瞬间是实时的 代表过去的数据 可更新的 不可更新的 操作需求事先可知 操作需求事先不可知 一个时刻操作一个单元 一个时刻操作一个集合 事务驱动 分析驱动 面向应用 面向分析 支持日常操作 支持管理需求 * 兰彬制作 * 数据仓库基本术语(1) 主题 主题是一个较高层次上的数据归类，是将企业信息系统中的数据进行综合、归类并进行分析利用的抽象。它对应企业某一宏观分析领域所涉及的分析对象，每一个主题都是决策者所关心的问题。 粒度（Granularity） 粒度是指数据仓库中数据单元的详细程度和级别，数据越详细，粒度越小，级别就越低；数据综合度越高，粒度越大，级别就越高。 * 兰彬制作 * 数据仓库基本术语(2) 维度（Dimension） 维度是指人们观察事物的角度。例如，关心产品在不同时间的销售变化情况，时间就是一个维，如果关心产品在不同地区的销售情况，地区就是另外一个维。 维是有层次结构的，如描述时间维可以从日期、周、月份、季度、年等不同层次来描述，这里日期、周、月份、季度、年等就是时间维的层次。 数据立方体（Cube） 数据立方体是指由两个或更多维来描述的数据。数据仓库是多维的，通常数据立方体也不仅仅包含三维，大多数会包含三维以上的维度，这样的数据集称为数据立方体 * 兰彬制作 * OLAP的基本功能 旋转（Pivot） 钻取（Drill through） 切片和切块（Slice or Dice）。 * 兰彬制作 * OLAP的存储结构 OLAP在物理上分为3种存储结构 基于多维数据库的OLAP存储结构（MOLAP） 基于关系数据库的OLAP存储结构（ROLAP） 混合型的OLAP存储结构（HOLAP） * 兰彬制作 * OLAP的存储结构 MOLAP是指OLAP数据存储在多维数据库中，使用专用的多维结构存储分区的事实和聚合某个维度。在MOLAP中，所有的聚合都预先计算好，并以文件结构保存。 MOLAP模型导致大量数据负载。 有很快的查询反应速度。可以利用多维查询语言（MDX)方便进行多维数据集的查询。 ROLAP是使用关系数据库中的表存储多维结构的存储模式。数据保存在RDBMS中，聚合仅在需要时才计算出来. 这种方法反应虽然较慢，但是最灵活。 HOLAP是MOLAP和ROLAP的结合。这种模型中，一部分聚合是预先计算的，而另一部分则是从保存在DBMS中的数据中计算出来的。 这种模型对于大多数常用查询有最快的反应速度，因为它们的聚合是预先算好的，而它又为切分数据保存了所有基本数据。 * 兰彬制作 * 数据仓库的设计与实施 数据仓库的设计需要： 确定主题 确定粒度 建立维度 确定数据装载策略 设计数据存取工具和不间断的维护方案。 * 兰彬制作 * 创