第五章 深入BI之Kettle篇2.pdf

深入BI 之 Kettle 篇 第2周 2013.03.302013.03.32 DATAGURUDATAGURU专业数据分析网站专业数据分析网站初建军初建军 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，不得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 2013.03.30 DATAGURU专业数据分析网站初建军 2 课程内容 上周回顾 2013.03.30 DATAGURU专业数据分析网站初建军 课程内容 • Kettle 资源库-保存Kettle 元数据 • 运行方式- 图形、命令行、API • 日志-文件日志、数据库日志 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle 资源库– 元数据 元数据的通用概念： • “描述性数据”或 “数据的数据” ETL 的元数据： • 描述ETL 要执行的任务 在Kettle里元数据的存储方式： • 资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML 的根节点必须是transformation .kjb 作业XML 的根节点是job 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle 资源库– 资源库类型 数据库资源库： • 把Kettle 的元数据串行化到数据库中，如R_TRANSFORMATION 表保 存了Kettle 转换的名称、描述等属性。 • 在Spoon 里创建和升级数据库资源库 文件资源库： 在文件的基础上的封装，实现了org.pentaho.di.repository.Repository 接口。 是Kettle 4.0 以后版本里增加的资源库类型 不使用资源库： 直接保存为ktr 或kjb 文件。 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle 资源库– 资源库操作 新建资源库： • Kettle 4.x 在Spoon 里新建资源库，并选择资源库类型。 • 傲飞数据整合平台在服务端新建资源库，只能使用数据库资源库。 资源库导出： • 全部导出 • 导出一个目录 资源库导入： 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle 资源库– 如何选择资源库？ 数据库资源库的缺点： • 不能存储转换或作业的多个版本。 • 严重依赖于数据库的锁机制来防止工作丢失。 • 没有考虑到团队开发，开发人员不能锁住某个作业自己开发。 文件资源库的缺点： • 对象（如转换、作业、数据库连接等对象）之间的关联关系难以处 理，所以删除、重命名等操作会比较麻烦。 • 没有版本历史。 • 难以进行团队开发。 不使用资源库：使用svn 进行文件版本控制。 参考： Kettle 企业版资源库：基于Apache Jackrabbit 的CMS 系统。 2013.03.30 DATAGURU专业数据分析网站初建军 Kettle资源库– 管