ETL模型介绍.pdf

ETL模型介绍 银泰网 BI team 孙 博 数据仓库架构 ETL理解 ETL工具介绍 ETL处理机制 数据仓库的定义 著名数据仓库专家W.H.Inmon  数据仓库是面向主题的、集成的、稳定的、 不同时间的数据集合，用于支持经营管理中 的决策制定过程。  A Data Warehouse is a subject-oriented, integrated, time-variant, nonvolatile collection of data in support of management’s decision making process  “Building the Data Warehouse ” （《建立数据仓库》）  “Corporation information factory” （《企业信息工厂》）  “Govment information factory” 《政府信息工厂》 数据仓库特征 面向主题——数据仓库中的数据按照主题进行 组织； 集成——从多个数据源将数据集合到数据仓库 中，并集成为一个整体； 稳定——数据仓库中的数据通常是历史数据， 很少进行更新；  时变——数据仓库中的所有数据都有特定的时 间标识 数据仓库整体架构 ETL特点 ETL定义 Extract-Transform-Load的缩写，数据抽取（Extract）、 转换 （Transform ）、清洗（Cleansing）、装载（Load）的 过程。 ETL特点 实施时间长 整个项目实施工作量的60% - 70% 过程复杂 贯穿业务数据建模与存储的整个过程 决定BI项目成败的关键 数据的准确性、过程的执行成功与否 ETL抽取机制  增量机制 根据时间戳或是属性变化  全量机制 数据一次性加载或初始化数据 ETL处理模式  工具辅助 informatica,SSIS,datastage 手工模式 通过sql直接手工编写存储过程 ETL开发方式比较 开发方式 采用ETL工具 手工编码 比较方面 灵活性 比较灵活 最灵活 难易程度 相对容易 要求一定技术水平 管理和维护 容易 较难 可移值性 好 差 性能和效率 较高 取决于编写者水平 开发周期 较短 较长 价格 较高 相对较低 两大工具比较 Datastage和Powercenter可谓旗鼓相当 指标比较 Informatica DataStage 市场占用率 领先几个百分点 略低 引擎骚动 元数据方式 编码方