05.TD员工入职技术培训之ETL开发与维护V1.ppt

议题 议题 ETL 定义 ETL/ELT/ETLT-总结 ETL 流程概述 ETL 技术架构 ETL 定义 ETL vs. EtLT vs. ELT – 总结 Teradata ETL 流程简要说明 ETL流程是数据触发的、全自动的数据流过程； ETL流程是将数据抽取、转换和装载到数据仓库的一个数据流的过程，它定义了对众多数据处理的顺序性、依赖性及触发性等关系； 使用ETL AUTOMATION进行统一的管理、调度； 使用ETL监控服务进行流程监控并处理异常情况； 一般情况下，ETL流程包括数据源准备、加载、转换、数据导出和数据备份等几部分。 CSDCC ETL流程图 Teradata ETL技术架构 议题 ETL Automation简介 Perl对数据库的访问 ETL Automation目录架构 ETL Automation服务 ETL Automation处理流程 ETL管理及组件 ETL管理示意图 ETL Automation简介 Teradata公司开发的ETL流程调度产品（product）； 使用Perl程序开发，运行环境需要安装Perl软件及DBI、DBD插件； C/S服务器架构 ETL Automaiton由以下几部分组成： ETL Automation服务 ETL Automation目录架构 ETL Automation知识库 ETL Automation环境变量 ETL Administrator管理工具（GUI） ETL monitor监控工具（GUI） ETL Automation任务调度： 定义了目录架构及知识库 目录架构下不同的目录用于不同的目的 知识库中不同的表用于不同的目的 定义了目录架构下部分目录与知识库中相应表的对应关系规则 目录中的任务名称与知识库任务表中相应任务名称必须相同 目录中的日志文件名称与知识库日志表中相应日志名称必须相同 定义了控制文件的命名规则 控制文件作为Automation调度任务的必需条件之一 ETL Automation服务使用环境变量、控制文件和知识库对ETL任务进行调度 ETL Automation简介 ETL Automation功能说明 ETL任务的自动化调度 ETL任务管理 一般情况下使用图形界面工具（GUI）ETL Administrator和ETL Monitor对ETL任务进行管理、监控 添加/删除/修改ETL server（可选）、子系统（可选）、任务 定义任务之间的关系、任务组、日历等 任务定时 ETL日志清理 日志文件清理 日志记录清理 ETL任务讯息通知 邮件通知 手机短信通知 ETL远程访问管理 Perl对数据库的访问 ETL Automation目录架构 ETL Automation服务 ETL Automation处理流程 ETL 管理及组件 ETL 管理示意图 议题 开发前的必要准备 脚本生成器 ETL任务分类 异常监控及错误处理开发 任务开发示例-CSDCC ETL任务开发说明 开发前的必要准备 安装Perl软件及DBI、DBI-ODBC插件 安装Teradata TTU工具 配置Teradata ODBC数据源 配置hosts文件 创建ETL Automation目录 设置ETL Automation环境变量 拷贝相关的ETL程序到$auto_home\bin目录 配置ETL 服务（可选） Scripts Generators（脚本生成器） 尽可能的情况下，使用任务脚本生成器进行任务开发 ETL开发人员要逐步了解并能够独立开发脚本生成器 脚本生成器分为： 加载任务脚本生成器 生成加载（Load）任务脚本 转换任务脚本生成器 生成转换（Transform）任务脚本 备份任务脚本生成器 生成备份（Backup）任务脚本 脚本生成器高效的生成Perl代码脚本并存放在Automation相应目录下 生成的Perl代码脚本格式统一，有助于维护并增强安全性 对生成的Perl代码脚本可以自定义修改，一般情况下加载任务脚本不需要修改 ETL任务分类 ETL加载任务 将源数据文件加载到Teradata数据仓库 调用Fastload/Multiload/Tpum/TPT等工具 如果数据源比较复杂，需要调用Inmod/Axsmod等API接口 ETL转换任务 将源表（Source tables）数据根据业务需求进行转换加载到目标表（Target tables）中 调用Bteq工具 如果转换比较复杂，可以考虑使用UDF ETL导出任务 将数据仓库表数据导出以供接收方使用 调用Fastexport工具 如果对导出要求较高,需要调用Outmod/Preprocessor等接口 ETL备份任务 备份ETL数据及数据仓库表到磁带库磁带 调用Netvault工