2-Kettle开源数据采集工具.pptx

Kettle-开源数据采集工具;目 录;采集工具简介;ETL理论;开源工具介绍;开源工具介绍;开源工具介绍;Kettle的几个基本概念;Kettle-资源库-Repository;Kettle-插件/组件-Step;编号;Kettle的几个基本概念;Kettle的几个基本概念;Kettle-简单/原子作业-Transformation;Kettle-复合作业-Job;Kettle-数据库连接-Connection;Kettle-变量-Variable;Kettle-开源情况;Kettle-应用场景;采集示例演示;实时采集原理;例2，多个字段的组合数据是单调递增：以06版柜台系统的hs_secu.entrust表为例，其有两个字段hs_secu.entrust.entrust_no和hs_secu.entrust.branch_no两个字段组合之后，对于单个营业部号为100的数据，其entrust_no是从1开始单调即可。对于单个营业部为140的数据，其entrust_no也是从1开始单调递增。如下图，红色段单调递增，绿色段也单调递增;例3，对于某个字段的数据，是呈分段单调递增：以华泰证券08版柜台系统的hs_secu.entrust表为例，由于其数据引入了快??交易的数据回写，相应的字段主键是由init_date,branch_no,entrust_no共同组合而成，但是其单个营业部的entrust_no字段的数据，并不是单纯地从1开始增长，而是增长规律如下：;为简单描述起见，暂时以满足如上示例1)的数据 为了便于理解，以转换源表hs_fund.fundjour描述程序伪代码结构如下： 采集开始 获取源表当前的hs_fund.fundjour.serial_no的最大值，记为max(serial_no) 将max(serial_no)值与记录已转换的hs_fund.fundjour.serial_no的值（记为collect(serial_no)）进行比较。 If max(serial_no) collect(serial_no) 则进入步骤4 If max(serial_no) = collect(serial_no) 则本次运行结束 由步骤3可知，得出需要新增流水转换的序列号范围记为collect(serial_no)~max(serial_no)之间，根据这段流水号去取数插入到hsraw.hs06_r_fundjour当中 将转完的max(serial_no)值置换到collect(serial_no),即，collect(serial_no):=max(serial_no) 转换完成之后，继续返回1开始执行。;实时采集原理;运行方式及调度模式;THANKS