KETTLE详细设计解析.docx

KETTLE详细设计说明书V0.1变更记录版本文件内容描述日期编写审核批准V0.1创建2014-7-3王小龙1 Kettle界面介绍双击Kettle.exe或者Spoon.bat打开Kettle图形界面化如下：(图1.1)Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的基础转换，Job则完成整个工作流的控制。Kettle常用三大家族：Spoon、Pan、Kitchen。Spoon:通过图形界面方式设计、运行、调试Job与Transformation。Pan:通过脚本命令方式来运行Transformation。Kitchen:通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。说明：当打开Kettle时显示的是Kettle的相关版本信息与GNU相关协议说明。(图1.2)说明：打开Kettle时弹出的窗口提示以资源库方式登录相关信息，关于乌江水电项目工程存储方式是以XML文件方式来进行存储，所以我就直接点击“没有资源库”。图(1.3)说明：进入Kettle设计界面。提示关于Spoon相关信息，这里直接点击“关闭”按钮。(图1.4)说明：图片中所使用到的字母位置标识说明。(A)：Kettle所使用到的菜单栏。(B)：在使用Kettle时所涉及使用到的对象。(C)：Kettle中所有的组件。(D)：根据选择(B)或者(C)显示相应的结果。(E)：Kettle设计界面。(图1.5)说明：文件：是对Kettle所生成的Job与Trans进行相关的操作，如：新建、打开、保存、导入、导出等相关操作。(图1.6)说明：编辑：是对Kettle当前打开的Job与Trans进行相关的操作，如：复制、撤销、环境变量显示、资源库查看、图形界面自定义调整(颜色、字体、样式)等相关操作。(图1.7)说明：视图：是对Kettle当前打开的Job与Trans进行放大、缩小相关操作。(图1.8)说明：资源库：是对Kettle中所使用到的资源库进行操作，如：资源库连接、断开、当前用户编辑等操作。(图1.9)说明：转换：是对Kettle当前所打开的Trans进行相关测试功能。(图1.10)说明：作业：是对Kettle当前所打开的Job进行操作，如：运行、复制、参数设置等相关操作。(图1.11)说明：向导：是对Kettle当前所打开的Job或者Trans对其进行一步一步的指导性操作。(图1.12)说明：帮助：查看当前Kettle版本相关信息。2 Kettle数据源连接配置Kettle中对于数据源有作用域的定义，也就是说有全局数据源与局部数据源两种。???????首先打开Kettle UI界面，使用快键方式(Ctrl+N)创建一个转换，新建数据源如下图：(图2.0)通过点击“新建”，则出现(图2.1)(图2.1)说明：通过(图2.1)我们可以看到创建数据源时需要配置相应的参数：Connection Name(必填)：配置数据源使用名称，如：wjsd_srcHost Name(必填)：数据库主机IP地址，如：192.168.1.254Database Name(必填)：数据库实例名称，如：WJSDTablespace for Data(可选)：数据表空间名称Tablespace for indices(可选)：数据索引名称Port Number(必填)：端口号User Name(必填)：用户名Password(必填)：密码Access：选择数据库连接方式，ODBC方式则需要配置系统ODBC，JNDI则使用配置jdbc.properties文件，默认为Native(JDBC)连接方式，。注：在Kettle中如果在填写框末尾出现$符号标识说明此处可以使用变量参数来定义。填写好数据库连接信息后，点击“Test”按钮，出现效果如(图2.2)(图2.2)说明：配置成功数据源后默认情况下数据源作用域为局部数据源，如果需要把数据源修改成为全局数据源，则选择数据源wjsd_src右击Share保存即可。3 Kettle全量抽取对于纬表、字典表或者是没有时间戳的表，一般我们都采用全量抽取的方式将业务系统库中的数据抽取到数据仓库中。乌江水电项目需要用到全量抽取的源表有：CIM.MeasurementCIM.Measurement_TypeCIM.d_ReservoirCIM.Center_Sys_CodeCIM.CURVE_SCHED_DATACIM.d_dateCIM.CURVE_SCHEDULECIM.WJ_CURVE_TYPECIM.power_System_resourcePSR_TYPE下面以CIM下面的d_Reservoir为例详细描述Kettle全量抽取的过程1、?