员工入职技术培训之开发与维护.ppt

“Mapping（映射）框”图源表目标表字段映射关系－evt_h_nontran_a_src示例将sdmexcel工具模板etl_datamapping_module.xls另存为act_s_acct_std_rtn_src.xls双击act_s_acct_std_rtn_src.xls，点击启用宏从Dev_Datamappingxls（任务映射关系）文档中拷贝act_s_acct_std_rtn_src表映射到”DataMap任务“sheet下第2行点击”宏：加载导入Mapping表”，登录数据库，进入mapping框界面，填写文本框：目标库(pdata)=dvpdata、源库(s0ddl)=dvs0ddl、“选择任务：（输入rowid)”=2，出现”目标表：act_s_acct_std_rtn_src”…点击”获取/维护Mapping信息“，在”制作DataMap“sheet中生成目标表、源表的字段信息；对目标表和源表的字段进行映射映射完成后，点击“插入mapping表数据到数据库：”将字段映射关系插入到数据库映射关系表中…产生”生成脚本”语句点击”生成scripts脚本”按钮，在“制作脚本”sheet中生成“生成脚本语句”转换任务脚本生成及日志查看点击”执行脚本生成”按钮，ETL脚本生成器读取数据库映射表数据自动生成转换任务脚本点击”执行结果日志”按钮，查看任务脚本生成情况语法测试数据检查源数据加载任务测试语法测试业务规则检查数据检查转换任务测试语法测试测试结果备份任务测试针对于批量上线的任务使用ETLAUTOMATION调度单个任务不需要流程测试ETL流程测试ETL任务测试执行命令：”脚本所在绝对路径”+脚本名称dir+”.”+脚本任务名称+数据日期示例：D:\dwETL\APP\SHZ\SAGDTALIB_ZHGFHBL\bin\sagdtalib_zhgfhbl0100.pldir.sagdtalib_zhgfhb语法测试表与源文件记录数是否一致是否有乱码重点检查字段日期字段数值型字段中文字段数据检查源数据加载任务测试转换任务测试语法测试执行命令：”脚本所在绝对路径”+脚本名称dir+”.”+脚本任务名称+数据日期示例：D:\dwETL\APP\ACT\ACT_S_ACCT_STD_RTN_SRC\bin\act_s_acct_std_rtn_src0200.pldir.act_s_acct_std_rtn_sr业务规则检查与设计文档核对数据检查目标表数据与源表数据在某一时间（内）业务规则上的记录数是否一致是否有乱码重点检查字段日期字段数值型字段中文字段源表与目标表字段类型不一致的字段CSDCCETL流程图TeradataETL技术架构议题ETL介绍ETLAutomation说明ETL开发ETL管理维护ETL人员职责与技能要求ETLAutomation简介Perl对数据库的访问ETLAutomation目录架构ETLAutomation服务ETLAutomation处理流程ETL管理及组件ETL管理示意图ETLAutomation简介Teradata公司开发的ETL流程调度产品（product）；使用Perl程序开发，运行环境需要安装Perl软件及DBI、DBD插件；C/S服务器架构ETLAutomaiton由以下几部分组成：ETLAutomation服务ETLAutomation目录架构ETLAutomation知识库ETLAutomation环境变量ETLAdministrator管理工具（GUI）ETLmonitor监控工具（GUI）ETLAutomation任务调度：定义了目录架构及知识库目录架构下不同的目录用于不同的目的知识库中不同的表用于不同的目的定义了目录架构下部分目录与知识库中相应表的对应关系规则目录中的任务名称与知识库任务表中相应任务名称必须相同目录中的日志文件名称与知识库日志表中相应日志名称必须相同定义了控制文件的命名规则控制文件作为Automation调度任务的必需条件之一ETLAutomation服务使用环境变量、控制文件和知识库对ETL任务进行调度ETLAutomation功能说明ETLAutomation简介ETLAutomation功能说明ETL任务的自动化调度ETL任务管理一般情况下使用图形界面工具（GUI）ETLAdministrator和ETLMonitor对ET