数据仓库及ETL2016.09.19讲述.pptx

数据仓库及ETL介绍 数据集成事业部 周欣欣 zhouxinxin@ 2016.09 目录 基础概念 Informatica 组件详解 Informatica KB介绍 ETL系统介绍 1、数据仓库 数据仓库是一个： 面向主题的（Subject Oriented） 集成的（Integrate） 相对稳定的（Non-Volatile） 反映历史变化（Time Variant） 的数据集合 1、数据仓库 数据仓库是一个： 面向主题的（Subject Oriented） 集成的（Integrate） 相对稳定的（Non-Volatile） 反映历史变化（Time Variant） 的数据集合 1、数据仓库的特点 面向主题的（Subject Oriented） 数据是面向应用程序事务的，而数据仓库中数据的是按商业主题存放的，商业主题会随着企业的不同而不同。 集成的（Integrate） 在将不同来源的数据存入数据仓库中之前，必须把这些不同的数据元素标准化，对数据进行清洗、转换等集成操作。 相对稳定的（Non-Volatile） 一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 反映历史变化（Time Variant） 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点到目前的各个阶段的信。 主题与主题域 主题 面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整并且一致的描述，能刻画各个分析对象所涉及的企业各项数据，以及数据之间的联系。 主题域 主题域是对某个主题进行分析后确定的主题的边界 主题与主题域 主题与主题域： 财务： 资金筹集、资金配置、资本结构、现金创造、现金管理 资产质量、盈利能力、债务风险、成本、费用、差旅 人力资源： 人员、薪酬、职位、员工关怀、人员流动、技能提升 资产：固定资产、资产使用、资产维护、折旧、残值 经营分析： 流量、生产保障、精细化管理、运营效率、设施效率 主题与主题域 2017-3-29 Inspur group 维度建模 2017-3-29 Inspur group 维度建模： 其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。 维度表： ?维度表可以看作是用户来分析数据的窗口，纬度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。 事实表： 在多维数据仓库中，保存度量值的详细值或事实的表称为“事实表”。 维度建模 2017-3-29 Inspur group 简单的说：?1、事实表就是你要关注的内容；?2、维表就是你观察该事务的角度，是从哪个角度去观察这个内容的。 星形模型与雪花模型 2017-3-29 Inspur group 雪花模型 2017-3-29 Inspur group 星形模型与雪花模型 2017-3-29 Inspur group 星形模型 一种使用关系数据库实现多维分析空间的模式，称为星型模式。星型模式的基本形式必须实现多维空间（常常被称为方块），以使用关系数据库的基本功能。 雪花模式 不管什么原因，当星型模式的维度需要进行规范化时，星型模式就演进为雪花模式。 星形模型缺点 2017-3-29 Inspur group Benefits： Simpler queries Simplified business reporting logic Query performance gains Expansibility Disadvantages redundancy data Harder Complex Queries? 缓慢变化维 2017-3-29 Inspur group Supplier_Key Supplier_Code Supplier_Name Supplier_State 123 ABC Acme Supply Co CA Supplier_Key Supplier_Code Supplier_Name Supplier_State 123 ABC Acme Supply Co IL original Now 缓慢变化维处理方式 2017-3-29 Inspur group Type 0: retain original Type 1: overwrite Type 2: add new row Type 3: add new attribute Type 4: add history table Type 6: hybrid