Kettle-Spoon-研究课案.docx

客套话： Kettle是一款ETL数据整合工具，用于完成数据的抽取、清洗、转换、加载等过程。KETTLE管理平台以B/S架构部署KETTLE服务，提供转换/作业调度和监控的功能。 调度可选择资源库中的转换/作业，配置一定的调度策略调度其运行；监控提供对调度运行情况的监控，并可查看调度文件运行的数据库日志以及运行中的错误信息。 说明：截图不全，看不到的地方是采用默认值。 spoon版本： 准备： 源数据库dbSrc表test，表结构 create?table?TEST ( ??ID?????????INTEGER, ??A??????????VARCHAR2(3), ??B??????????VARCHAR2(3), ??C??????????VARCHAR2(3), ??UPDATETIME?DATE?default?sysdate ) 目标数据库dbDes表test，表结构 create?table?TEST ( ??ID?????????INTEGER, ??A??????????VARCHAR2(3), ??B??????????VARCHAR2(3), ??C??????????VARCHAR2(3), ??UPDATETIME?DATE?default?sysdate ) 目标数据库dbDes表test_version，表结构 create?table?TEST_VERSION ( ??ID?????????INTEGER, ??UPDATETIME?DATE?default?sysdate ) 要求如下。当dbSrc的test数据有变化时，把变化的数据记录下来，并同步到dbDes的Test表中，同时修改TEST_version表中对应ID的日期为当前日期。 步骤图如下： 说明： 1、表输入1 SELECT ??ID ,?A ,?B ,?C ,?UPDATETIME FROM?TEST? ORDER?BY?ID 与表输入2 SELECT ??ID ,?A ,?B ,?C ,?UPDATETIME FROM?TEST ORDER?BY?ID 图： 注意，一定要以ID进行排序，猜测内部机制是按行进行比较的，如果源数据库的行在目标行中没有找到，则认为是新增；如果源数据库的行在目标中对应的字段不一致，则认为是修改；如果目标数据库行在源数据库中没有找到，则认为是删除。 2、合并记录 3、数据同步 注意此处有高级设置 4、过虑记录 5、执行SQL脚本2 6、写日志 运行一把，看看效果！ 到此两个数据库表中数据同步已经全部完成，而且把同步记录记录到日志文件里，以备日后查阅。 是不是Spoon很强大。其实自己写个Java进程也能达到此效果，但有一点不一样，spoon不用代码编译，纯配置即可实现，而Java代码必须要程序人员参与，技术门槛不一样。 注意，此方法适用于???典表的同步，即适合于数据量不大（10万条以下）的情况。因为需要把两个表里所有的数据都抽取出来，并进行逐行比对。我们在下一节里将介绍，大数据量时（10万以上）如何处理。