Datastage实现拉链算法.doc

Datastage实现拉链算法 环境：Red Hat Linux AS 4 + Oracle DB 10g + Datastage EE 7.5.2 首先，还是先了解一下数据仓库中提到的拉链表。拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。拉链表的好处就是避免按每一天存储所有记录造成的海量存储问题,同时也是处理缓慢变化维的一种常见方式。 如下设计了一个拉链表t_chain，必然包含的字段有标识字段(NAME),开始日期，结束日期，信息变更字段(STAT)。 （NAME）?? （START_DATE）??????? （END_DT）???? ?? （STAT）client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? H在家client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? A小学client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? B初中client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? C高中client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? D大学client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? E公司client1 ?? ?? ???? ?? ?? ?? ???? ?? ?? H退休在家 假设客户的状态数据每天是一个全量表t_all，那么哪些数据需要关注呢？第一类，t_all中有，而t_chain中没有的数据，例如，以上所示client2出现了；第二类，t_all和t_chain中都有，但是信息变更了，例如，以上所示client1退休后被返聘又开始工作了；第三类，t_all中没有，而t_chain中有，例如，client去世了，或者某客户从系统中注销了。如果采用SQL完成拉链表，参见/bbs/archiver/tid-23239.html 现在我们用datastage来实现拉链算法：Datastage中的Change Capture Stage能够帮助我们来实现拉链算法。Change Capture Stage功能特点：Change Capture Stage两个输入，分别标记为before link 及 after link。输出的数据表示before link和after link的区别，??? 我们称作change set。Change Capture Stage可以和Change Apply Stage配合使用来计算after set。 key及value的说明key值是比较的关键值，value是当key值相同是作进一步比较用的。change mode项说明：All keys，Explicit Values??????? 需要指定value，其余字段为keyExplicit KeysValues?????????? key及value都需要指定Explicit Keys，All Values??????? 需要指定key，其余的字段为value输出策略说明Drop Output For Copy????????? False：保留before及afte link中key值相同的行???????????????????????????????????????????????? True：删除before及afte link中key值相同的行Drop Output For Delete???????? False：保留before link中但是after link中没的key值所在的行??????????????????????????????????????????????? True：删除before link中但是afte link中没的key值所在的行Drop Output For Edit??????????? False：保留key值相同,value不同的行??????????????????????????????????????????????? True：删除key值相同,value不同的行Drop Output For Insert????????? False：保留before link中没但afte link中的key值所