Kettle 基础教学课件.ppt

Kettle控件介绍 从关系型数据库中获取源数据。 用于数据持久化，将数据加载到关系型数据库中。 从文本文件中获取源数据。 将数据写入文本文件中，如果路径下无此文件，kettle会 自动建立。 * Kettle控件介绍 从MongoDB中获取源数据。 用于数据持久化，将数据加载到MongoDB中。 均用于从XML文件获取数据，只是解析方式不 同，一般情况下均采用第二个控件。 将数据写入XML文件中，如果路径下无此文件，kettle会自动建立。 * Kettle组件介绍 删除指定表匹配条件的数据操作。 更新指定表指定条件的数据 数据网格，能够创建指定格式的网格数据。 获取系统信息，包括系统中的时间、日期、JOB转换信息 能够读取json格式数据，输出成标准流字段 获得一个随机值 * Kettle组件介绍 增加常量，可以选择常量的数据类型 增加序列，可指定步长 计算器，可以做数据加减乘除和日期处理（有小bug） 拼接数据，可指定分隔符 替换字段中的指定字符 字段选择，移除以及格式化 * Kettle组件介绍 列转行 行转列，先group by再进行转换 将一个字段的值赋值给另一个字段 拆分字段成行，根据指定分隔符将一行数据拆分成多行 拆分字段,将一个字段拆分成多个字段 字符串处理，其中包括trim、大小写转换、特殊字符转换 比如换行符、制表符等 * . . . . 总结需根据培训的侧重点再调整，我这只是大概写了一下 * . 需说明Pan、Kitchen、Carte、Encr不常用，仅作为了解知识 * . 重点说明Spoon，自然带出Job、Trans差别 * . Kettle运行环境 * . 需向培训人员说明此处只是列出一般的开发步骤，具体使用会在稍后的例子中详细说明 * . * . * . . . . . . . . . . Kettle 基础培训 整理：小白、玻璃杯 * Agenda Kettle特点 Kettle基础知识 Kettle开发流程 Kettle组件介绍 案例介绍 * 什么是Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。 * 相关知识链接 kettle的官网是 /projects/data-integration/ 目前常用的版本有5.3，5.2 5.1以及4.4，4.3等，不推荐再以前的版本，已经过于陈旧。 开发、使用者如何选择版本呢？ 5.0以后的版本加入了不少新的控件，也对已有功能做了一定优化，根据群内统计来看目前使用4.4版的较多，5.1、5.2也有不少人用，5.3版根据某群友未经证实的经验还有一定问题。 * Kettle特点—kettle与Infomatica比较 总结： kettle配置简单，抽取效率比较高，可以进行第三方修改，工具中的控件能够实现数据抽取的大部分需求。 　 Kettle Informatica 易用性 有非常容易使用的 GUI，出现问题可以到社区咨询。 非常容易使用的 GUI，但是要专门的训练。 部署 需要JVM。 需要有 Server 效率 需要手工调整，对 Oracle 和 PostGre 等数据源做了优化，同时也取决于转换任务的设计。 最快的 　 数据质量 在 GUI 里有数据质量特性，可以手工写 SQL 语句、java脚本、正则表达式来完成数据清洗。 专门有一个产品 Informatica Data Quality 来保证数据质量 　 监控 有监控和日志工具 有非常详细的监控和日志工具，实际应用中无需如此详细日志 　 连接性 非常广泛的数据库，文件，另外可以通过插件扩展。 各种数据源 * Kettle基础知识—kettle家族 Kettle家族目前包括几个产品： S