kettle应用实践(转).doc

kettle应用实践（转）??????? 今天早上在网上看到了kettle发布了必威体育精装版的版本，忽然想起最近其实做了不少工作应该是ETL工具的拿手好戏，赶紧下载下来看看，看是否能够在实际的工作中应用起来。 ??????? 顺便讲一下，为啥看到kettle会两眼发光。 ??????? 最近写了好几个小程序，用于从一个ftp去获取数据，然后转发至另一个ftp去，或者是从一个数据库获取数据然后保存至本地的数据库中，使用的是jdk中的Timer实现的定时调度，本来也没什么问题，连续运行几个月都不会出错。 ??????? 可是最近网络不是太好，周期性抽风，ping包时，每5分钟大概会丢7-8个包，从而导致程序也会假死，过一段时间后就不正常干活了，估计是因为用了数据库连接池的问题，要是每次发起数据库连接可能就不会有问题了，偷懒也不想改了，因为网络最终肯定是会修好的 :-) 但是想试试ETL工具，因为后面还有一些类似的东西要处理，不想写代码了，用别人的轮子感觉比较好，呵呵 ??????? 首先下载了kettle的必威体育精装版版，kettle3.1，解压后即可运行，一般的开发人员稍微摸索一下，看看例子简单的转换还是会做的，今天小试了一把，有几个注意点记下来。 使用资源库（repository）登录时，默认的用户名和密码是admin/admin 当job是存放在资源库（一般资源库都使用数据库）中时，使用Kitchen.bat执行job时，需使用如下的命令行： Kitchen.bat /rep kettle /user admin /pass admin /job job名 当job没有存放在资源库而存放在文件系统时，使用Kitchen.bat执行job时，需使用如下的命令行： Kitchen.bat /norep /file user-transfer-job.kjb 可以使用命令行执行job后，就可以使用windows或linux的任务调度来定时执行任务了 ??????? 在一开始使用命令行方式执行job时，总是报如下的错误，琢磨了好长时间总算整明白正确的方式了。 Unexpected error during transformation metadata load No repository defined! ??????? 下一步准备按照实际情况定制Job，做好了再写小结。 问答：Unexpected error during transformation metadata load No repository defined! 这个问题你最后怎么解决的？ @吴悔一开始我是将Job和Transfomation都是存放在资源库中的，然后使用Kitchen.bar执行时会报上述错误，后来登录kettle时，选择“不使用资源库”，直接将Job和Transfomation保存在本地文件中，再使用Kitchen.bat执行就没有问题了。 HYPERLINK /robbie/archive/2008/12/12/245962.html Kettle的第一个实践--从FTP上取文件，再放至另一个FTP上 这个实践其实不难，主要是有一个地方要注意，就是文件名通配符的写法，如果文件名格式为“TRANS_yyyymmdd.txt”，如TRANStxt。如果想匹配所有以TRANS开头的文本文件，在kettle中要写成这样：TRANS_.*[0-9].txt。 最后在windows操作系统中配置定时任务就可以定期执行该Job了。 Job的图： FTP配置信息： HYPERLINK /robbie/archive/2008/12/14/246271.html Kettle的第二个实践--数据获取并转换 需求： kettletest1数据库中有table_source数据表，结构如下： Id??????????????? 主键 t_id???????????? 数据时间 part_id??????? 实例ID yg?????????????? 数据字段1 wg????????????? 数据字段2 该表中的数据对于不同的实例ID，一分钟一条数据，t_id字段表示数据的时间，精确到分钟。 kettletest2数据库中有table_target数据表，结构如下： Id???????????????????? 主键 marketdate????? 数据日期，格式为 yyyy-MM-dd pointtime??????? 时间，格式为 HH:mm pointnumber?? 时间的数字表示，00:01表示为1，00:00表示为1440 plantcode??????? 实例Code yg????????????????