深入BI之Kettle篇1.pdf

深入BI 之 Kettle 篇 第1周 2013.03.302013.03.32 DATAGURUDATAGURU专业数据分析网站专业数据分析网站初建军初建军 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，不得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 2013.03.30 DATAGURU专业数据分析网站初建军 2 学习资料 1./ / 2. 3.Kettle Cook Book 4.Pentaho 3.2 Data Integration Beginner’s Guide 5.Kettle Solution 6.Kettle 代码 本课程使用的Kettle 版本： 1.Kettle 4.4 下载地址：/ 2.傲飞数据整合平台1.0.4，下载地址： 2013.03.30 DATAGURU专业数据分析网站初建军 3 Kettle 介绍– 课程内容 • 背景知识：ETL • Kettle 介绍、应用情况、对比 • Kettle 基本使用 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle 背景知识– ETL 抽取(Extract)：一般抽取过程需要连接到不同的数据源，以便为随后的步 骤提供数据。这一部分看上去简单而琐碎，实际上它是ETL 解决方案的成 功实施的一个主要障碍。 转换(Transform)：任何对数据的处理过程都是转换。这些处理过程通常包 括（但不限于）下面一些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派生值和聚集值 加载(Load)：将数据加载到目标系统的所有操作。 概念扩展：ELT，EII(Enterprise information integration)/Data federation 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle背景知识– ETL在BI中的作用 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle背景知识– ETL 实现方式 • 手工编码，编写脚本，Java，Python • 商业ETL 工具软件 • 开源ETL 工具软件 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle背景知识– ETL 商业软件 Informatica IBM DataStage Microsoft SSIS Oracle ODI 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle背景知识– ETL 开源软件 Kettle Talend CloverETL Ketl，Octopus … 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle