数据仓库3-数据仓库中的数据及组织研究.ppt

第3讲 数据仓库中的数据及组织;数据仓库产生的原因;数据仓库的四个基本特征： 数据仓库的数据是面向主题的（Subject Oriented）； 数据仓库的数据时集成的（Integrate）； 数据仓库的数据不可更新（Non-Volatile）； 数据仓库的数据时随时间不断变化（Time Variant）的。 ;数据仓库的体系结构;数据库和数据仓库两层体系结构（DB-DW）并不能涵盖企业所有的数据处理要求。 某些应用既不是纯粹的联机事务处理，又不是高层决策分析。;ODS的定义及特点;DW与ODS面向不同的用户、不同的需求，都有其不可替代的作用，彼此间不是相互包含的，同时两者又可以相互结合、相互补充。;;数据仓库中存储两类数据： 业务数据和元数据;数据仓库的体系结构;数据仓库中存储的数据 ;源数据经过抽取、转换后，首先进入当前细节级，再根据具体需要进行进一步的综合，从而进入轻度综合级乃至高度综合级。 老化的数据进入早期细节级。 ;数据组织的实例 ;1）数据粒度;不同的情况组织数据的粒度会不同。 如： 电信通话 细节数据：记录每一次通话情况。 轻度综合数据：记录顾客每天的通话情况。 高度综合数据：记录顾客每月的通话情况。 ;超市购物 细节数据：记录顾客每一次购物细节。 轻度综合数据：记录每个顾客每次的购物金额，或每种商品每一天的销售数据。 高度综合数据：记录每个顾客每月或每年的购物金额，或每种商品每月或每年的销售数据。 ;1）数据粒度;1）数据粒度;2)数据分割;MySQL;2)数据分割;2)数据分割;App;2)数据分割;;3.2数据仓库中数据的追加;需要对源数据库的数据模式加以修改，加上时标字段。 对新插入或更新的数据记录，在记录中加更新时的时标。 ;由应用生成的文件，用来记录应用所改变的数据内容。 在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，相应的触发器将变化的数据写入一个增量日志表。;在上次抽取数据库数据到数据仓库之后及本次将抽取数据库数据之前，对数据库分别做一次快照，然后比较两幅快照的不同。 缺点：需要占用大量资源，影响系统性能。;通过分析数据库自身的日志来判断变化的数据。 优点：提取的变化数据只局限于日志文件，不需扫描整个数据库。 ;;3.3数据仓库中的元数据;3.3.1元数据的定义;3.3.1元数据的定义;与元数据产生、存储有关的工具： 数据抽取工具：完成ETL操作。 前端展现工具：实现把关系表映射成与业务相关的事实表和维表来支持多维业务视图，进行多维分析。 建模工具：提供更高层次的、与特定业务相关的语义。 元数据存储工具：用于将元数据存储在专门的数据库中。;3.3.2元数据的分类;1）按使用元数据的用户分类;3.按功能分类;3.3.3元数据管理的标准化;1）MDC的OIM标准;1）MDC的OIM标准;2）OMG组织的CWM标准;2）OMG组织的CWM标准;3）CWM标准与OIM标准之间的关系