开发经验总结.docVIP

DS开发经验总结 目录 1、特定控件 - 3 - 1.1、Aggregator(简称AGG) - 3 - 1.2、Lookup(?简称LKP) - 5 - 1.3、Funnel(简称FNL) - 5 - 1.4 Remove_Duplicates - 6 - 1.5 Join - 6 - 1.6 ABAP_EXE_for_R3 Stage - 7 - 1.7、文件的使用： - 9 - 1.7.1、DateSet(简称DS) - 9 - 1.7.2、Sequential File(简称SQ) - 9 - 1.8、DB2 API - 10 - 1.9、Oracle Enterprise - 11 - 2、非特定控件 - 12 - 2.1、关于分区清除 - 12 - 2.2、Runtime column propagation选项 - 12 - 2.3、ETL开发过程中产生的问题 - 12 - 2.4 关于程序中使用手工文件 - 13 -  1、特定控件 在DataStage的Job中会使用到各种各样的Stage，在本文档中针对一些常用的Stage制定出一些使用原则以使Job更易读，也可以避免一些不必要的错误。 1.1、Aggregator(简称AGG) 方式： Stage-Properties-Options-Method=Sort此处统一选择sort方式 排序分区： 按group by字段进行分区排序。字段顺序与之前分组字段一致。 特别注意： Group by 字段不能为空，保险起见，在AGG之前要对NULL值进行处理或者赋值NA等，防止出现结果重复值等情况的发生。 清除分区： 需要考虑是否清除此次分区。 如果临近的下一个Stage，以同样字段分区，此处没必要清除分区。 关于计算数值之后，字段类型变化： 计算之后字段类型默认为double类型，大致有以下几种情况以及相应解决方法： 计算字段类型为decimal类型：先添加”Sum Output Column”属性”Decimal Output”,再填写需要输出的字段类型，然后Output拖出该计算列； 计算字段类型为数值类型，譬如Integer：无法直接修改类型，需要在该Stage之后修改回相应数值类型，否则报错； 计算字段类型为日期类型，譬如Date：先添加”Column for Calculation”属性”Preserve Type”,再选择True，然后Output拖出该计算列； 以上(1)~(3)：Aggregation Type=Calculation，默认输出计算列Nullable均为YES。 当Aggregation Type=CountRows，只用于做计数，默认输出计算列Nullable为NO。 对于输出字段的Nullable： 求count可将字段输出直接改为NO；求SUM的话对于NULL值可以NULLTOZERO。 Stage-Properties-Options-Allow Null Output： 该选项默认是False， 若数据有NULL数据，该选项选为True，否则为NULL的数据被Drop掉，并且不报警告。  1.2、Lookup(?简称LKP) 1，不建议使用:建议关联的表是小表的时候再使用该控件。 我们通常会用Lookup Stage做有关数据的匹配查找工作，对于Lookup的Reference Link，由于其是将数据放到内存中，当其数据量较大时（超过内存大小），用Join Stage的内连接来实现相同的功能。排序过的源数据会减少Join Stage的处理时间 2，condition中：condition not met选fail(默认)，lookup failure选continue. 1.3、Funnel(简称FNL) Stage-Properties-Options中 1，Funnel Type=Continuous Funnel，该选项为默认选项。 建议该设置选择该默认选项。 2，Funnel Type=Sequence，该选项只适合2条input时使用，输入较多时数据有可能不正确。建议选择第一种。  1.4 Remove_Duplicates 使用去重Stage时，在Advanced下的Execution mode设置成Sequential，确保去重成功 1.5 Join 在使用Join Stage时，在Input-Partitioning-Partition type最好使用Hash对关联字段进行分区，以免关联不上 并且在Stage-Advanced-Preserve partitioning设置成clear 1.6