【全套精品课件】数据仓库与数据挖掘原理及应用v3.ppt

数据仓库与数据挖掘原理及应用 目录 数据仓库基础 7. 分类和预测 数据仓库设计和实现 8. 关联分析 数据仓库实例 9. Web挖掘 OLAP和OLAM 10. 数据挖掘实例 5 . 数据挖掘基础 11. 知识 聚类分析 12. 语义网和本体 1 数据仓库基础 1.1 引言 1.2 体系结构 1.3 组成 1.4 元数据 1.5 数据粒度 1.6 数据模型 1.7 ETL 1.1 引言 数据仓库定义 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 此定义由最为权威的、被称为“数据仓库之父”的William H. Inmon 先生给出。 1.1 引言 面向主题的 是相对于传统数据库的面向应用而言的。所谓面向应用，指的是系统实现过程中主要围绕着一些应用或功能。而面向主题则考虑一个个的问题域，对问题域涉及到的数据和分析数据所采用的功能给予同样的重视。 典型的主题领域 顾客、产品、事务或活动、保险单、索赔和账目。 1.1 引言 集成的 数据仓库中的数据来自各个不同的数据源（操作数据库）。由于历史的原因，各操作数据库的组织结构往往是不同的，在这些异构数据输入到数据仓库之前，必须经历一个集成过程。 1.1 引言 集成的 最重要的特点。应用问题的设计人员制定出不同的设计决策，且表示方法不同。例如编码、命名习惯、实际属性和属性度量等方面不一致。 数据进入数据仓库时，需要消除各种不一致性。例如，数据仓库中顾客“性别”的编码，可采用“男/女”或“m/f”，采用哪种方式并不重要，重要的是在数据仓库中应该统一编码。如果应用数据编码为“X/Y”，则进入数据仓库时需要进行转换。 此外，对所有应用所涉及的问题都要考虑一致性。例如命名习惯、键码结构、属性度量以及数据特点等。 1.1 引言 与时间相关的 数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度。并且数据仓库中的数据时间跨度大，从几年甚至到几十年，称为历史数据。 1.1 引言 数据仓库中数据随时间变化的特性 数据仓库中的数据时间期限要远远长于操作型数据库中的数据时间期限。操作型数据库的时间期限一般是60～90天，而数据仓库中数据的时间期限通常是5～10年。 操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的，同样当前值的数据能被更新。而数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照。 操作型数据的键码结构可能包含也可能不包含时间元素，如年、月、日等。而数据仓库的键码结构总是包含某一时间元素。 1.1 引言 不可修改的 面向应用的事务数据库需要对数据进行频繁的插入、更新操作，而对于数据仓库中数据的操作仅限于数据的初始导入和记录查询。 操作型数据是一次访问和处理一个记录，可以对操作型数据库中的数据进行更新。但数据仓库中的数据则不同，通常是一起载入与访问的，在数据仓库环境中并不进行一般意义上的数据更新。 1.1 引言 数据仓库是决策支持系统（Decision Support System，DSS）的基础。 在数据仓库中只有单一集成的数据源，并且数据是可访问的。所以与传统数据库相比，在数据仓库环境中DSS分析员的工作将较为容易。 1.1 引言 演变过程 60年代 数据收集、数据库创建、信息管理系统（ IMS ）和网络数据库管理系统（Network DBMS） 70年代 关系数据模型以及关系型DBMS 1.1 引言 演变过程 80年代至今 高级数据模型 具有扩充关系的, 面向对象的, 演绎的等等 和 面向应用的 DBMS 空间的, 科学的, 工程的等等 90年代至今 数据挖掘和数据仓库，多媒体数据库和Web数据库。 1.1 引言 演变过程 在20世纪70年代之前，数据一般存储在文件中，由应用程序直接管理；之后有了简单的数据收集和数据库的构造；后来发展到对数据的管理，包括数据存储、检索以及数据库事务处理；再后来发展到对数据的分析和理解，这时候出现了数据仓库技术和数据挖掘技术。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，并且能够预测未来的数据。 1.1 引言 数据仓库与数据库的