ETL利器Kettle实战应用解析系列二【应用场景和实战DEMO下载】创新.docx

HYPERLINK /limengqiang/archive/2013/01/16/KettleApply2.html ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 本系列文章主要索引如下： HYPERLINK /limengqiang/archive/2013/01/16/KettleApply1.html 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 HYPERLINK /limengqiang/archive/2013/01/16/KettleApply2.html 二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 HYPERLINK /limengqiang/archive/2013/01/17/KettleApply3.html 三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】 本文主要阅读目录如下： HYPERLINK /limengqiang/archive/2013/01/16/KettleApply2.html \l yycj 1、应用场景 HYPERLINK /limengqiang/archive/2013/01/16/KettleApply2.html \l sz 2、DEMO实战 HYPERLINK /limengqiang/archive/2013/01/16/KettleApply2.html \l xiazai 3、DEMO下载 ? 1、应用场景 这里简单概括一下几种具体的应用场景，按网络环境划分主要包括： 表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发（一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数据库可以通过发布/订阅实现），涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug； 前置机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前置机C连接，一般的情况是双方约定好前置机的数据结构，这个结构跟A和B的数据结构基本上是不一致的，这样我们就需要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的； 文件模式: 数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用来生成标准格式的XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用B上在按照标准接口解析相应的文件把数据接收过来； 综上3种模式如果我们都用传统的模式无疑工作量是巨大的，那么怎么做才能更高效更节省时间又不容易出错呢？答案是我们可以用一下Kettle-_-！ 2、DEMO实战 2、1 实例1：数据库TestA中的UserA表到数据库TestB的UserB表 1）为方便演示，我这边把Sql脚本贴出来，大家直接复制在sqlserver中运行即可,sql脚本如下： use masterIF EXISTS(SELECT 1 FROM sysdatabases WHERE NAME=NTestA)BEGIN DROP DATABASE TestA --如果数据库存在先删掉数据库ENDGO CREATE DATABASE TestAONPRIMARY --创建主数据库文件( NAME=TestA, FILENAME=E:\ETL\DB\TestA.dbf, SIZE=5MB, MaxSize=20MB, FileGrowth=1MB )gouse TestA-- 建立一个测试的用户表create table usersA ( id int not null, userid varchar(50) not null, username varchar(200) null )go-- 插入3条记录insert into usersA values(1,lisi,李四);insert into usersA values(2,zhangsan,张三);insert into usersA values(3,lisi,李四);go use masterIF EXISTS(SELECT 1 FROM sysdatabases WHERE NAME=NTestA)BEGIN DROP DATABASE TestA --如果数据库存在先删掉数据库ENDGOCREATE DATABASE TestBON