丁婷婷第一个月实习月报.pptx

实习月报总结 丁婷婷 2016.5.16-2016.6.17 目录 关键工作总结 本月学习工作总结 序号 学习与工作内容 计划完成时间 实际完成时间 完成状态 1 Teradata Basic学习 《Introduction to the Teradata Database WBT》  2016/5/31 2016/5/31 已完成 2 Teradata SQL学习 《Teradata SQL》基础教程 2016/5/31 2016/5/31 已完成 3 学习《ETL脚本SQL编写规范》 2016/6/3 2016/6/3 已完成 4 学习ETL相关理论 《Automation Training》 2016/6/3 2016/6/3 待加强 5 学习韵达量本利相关业务，熟悉量本利系统脚本，画出数据流图 2016/5/31 2016/5/27 已完成 本月学习总结 序号 学习与工作内容 计划完成时间 实际完成时间 完成状态 6 按照SQL规范，完成科目及利润中心相关表的取数练习 2016/5/31 2016/5/27 已完成 7 学习新科目及利润中心维护 2016/5/31 2016/5/31 已完成 8 学习数据透视表和透视图相关知识 2016/5/31 2016/5/31 已完成 9 学习perl语言 《Perl语言入门》、《perl基础教程精华版》 2016/6/17 2016/6/17 待加强 10 熟悉《YUNDA_ETL运维说明手册》，并据此填写新接口相关文件 2016/6/13 2016/6/13 待加强 目录 关键工作总结 下月学习工作计划 序号 学习与工作内容 计划开始时间 计划完成时间 备注 1 深入学习SQL，针对上个月的学习内容，有计划的复习和加强 2016/6/20 2016/7/16 完成TDU basic的tests 2 按时完成新科目及利润中心维护 2016/6/20 2016/7/16 错误总结 3 学习新接口的开发过程 2016/6/20 2016/7/16 能够独立完成 4 继续学习Perl语言 《Perl语言入门》、《Perl基础教程精华版》 2016/6/20 2016/7/16 5 学习ETL AUTOMATION 2016/6/20 2016/7/16 待定 6 参与量本利底层改造 2016/6/20 2016/7/16 待定 7 项目组的其他工作 2016/6/20 2016/7/16 目录 关键工作总结 7/24/2018 9 7/24/2018 10 在ETL的操作流程中，接口开发是十分重要的一个环节，是作业自动运行的前提。只有正确配置好作业接口，才能让后面对应上线的作业进行正常的数据加载和数据转换等操作。接口开发的过程就是配置一些表使得作业满足被ftp服务器调用的条件，等作业上线后，加载作业能正常运行。进行接口开发的目的就是方便数据的自动加载，为数据加载和数据转换做准备。 数据加载是指数据（送过来的时候一般在“/ETLA/yunda_daily”和“/ETLA/yunda_hourly”中）按照SDDL表的对应表结构从源数据库中加载到SDATA库中； 数据转换是指数据从SDATA库中转换到PDATA库中。数据加载后SDATA库中表的数据内容跟从源数据库中提交过来的对应表的数据内容是完全一样的；而数据转换是将SDATA库中的数据转换成了PDATA库所需要的数据，转换完成后PDATA库中表的数据内容跟SDATA库中对应表的数据并不是完全一样的。 接口开发 7/24/2018 11 ●接口配置前材料准备 两个材料。 一是接口对应作业的相关信息，包括源系统、源应用系统描述、源表名、中文名、送数频率、增量全量、源库类型等相关信息； 二是所配置接口对应的源系统中表的具体表结构，包括其各个字段英文名、中文名、类型、长度、小数点位数、是否PK等信息。 ●接口开发操作步骤 （a）填写“D:\SVN TD\project\3系统设计与开发\34ETL\346ETL接口开发”目录下的“02韵达-ETL-源系统抽取列表.xls”。 重点：《表总揽》《具体表结构》。 （b）依次点击“生成STAGE表名”、“生成STAGE表结构”、“替换关键字”等一些按钮，自动生成文档中未填写部分内容。 （c）将自动生成的SQL语句刷入2690和2550的Teradata数据库中。这里的SQL语句有三个部分。 一是在作业配置表PETL.CTL_LOAD_CFG中插入接口对应作业的配置信息。 二是在作业最后批次表PETL.JOB_LASTSEQ中插入接口对应作业的最后批次信息。 三是在Teradata的SDDL库中刷入接口对应作业的STAGE表结构。 接口开发 7