ETL业务开发指导文档课件.doc

ETL业务开发指导 目 录 1. ETL概述 3 1.1 ETL是什么 3 1.2 适用范围 3 1.3 工具和配置 3 1.4 新建ETL用户 4 2. ETL开发 5 2.1 新建ELL 5 2.2控制流配置 6 2.3数据流配置 14 2.4 ETL测试 18  ETL概述 ETL是什么 【ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 :将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中HUAWEI_ETL_Client免安装版。 工具ftp地址: 3 public/public 工具路径:soft/HUAWEI_ETL_Client.rar 除此之外还要下载jdk1.5 1.3.2 配置 到ftp上面下载完etl开发软件解压之后，用记事本在根目录打开client.bat 其中 JAVA_HOME就是刚才你下载的jdk1.5的安装之后的目录. 运行这个工具必须断开iAccess，断开iAccess 新建ETL用户 断开iacess后，双击client.bat,使用管理员用户登录:admin/admin@123456 比如我想建立一个etl_test的用户,操作如下: 激活用户是给很久没登录的用户激活的 注意一定要指定你的用户角色为SysAdmin； 出现保存成功提示框，说明你的用户创建成功。 开发的时候使用你自己创建的用户登录开发。 ETL开发 以我20版本的REQ-2306-SMU-ETL01 ELT三种话单入库这个需求中其中一个渠道营销参数话单入库为例: SVN路径:3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/REQ-2306_软件需求分析文档_平台侧渠道智能推荐需求.docx 新建ELL 1.到ELT客户端上面，新建包:比如我新建的包是bi_test 2新建控制流etl_test 新建数据流 2.2控制流配置 1.双击刚才新建的etl_test控制流 业务的ETL简单的流程基本上我们只会用到空白，外部程序，FTP下载，转换任务,存储过程. 空白：一般是任务开始和结束的描述就像流程图六边形的开始和椭圆形结束； 外部程序：这个一般是调用Linux某个目录下的shell脚本进行某些操作; FTP下载:如名字，从某个FTP上面下载某个话单文件； 转换任务:一般将话单文件中的内容入到某个数据库与之对应的某个表（临时表）中; 存储过程：就是讲刚才转换任务某个数据库中临时表中的数据入到数据库中同义词指定的AB表中。 大致流程如下： 操作步骤: 2.2.1 外部程序配置 双击外部程序_删除原始话单 双击外部程序_删除原始换单任务，将执行节点选择为node1 点击外部命令选项卡,设置外部命令 [script_dir],[data_dir]这类带[]都是在系统参数那边配置的 sh [script_dir]/rmcdr.sh(8 etl/etl)这句话的意思是执行/home/etl/script目录下的rmcdr.sh这个脚本用于删除话单文件 [data_dir]/bi_rankcdr/etl_test channel_code_(93 etl/etl) 这个是你话单文件存放的地址 channel_code_这个是你话单文件的前缀，以我2306的需求为例: 在3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/渠道图书级阅读关联推荐接口.docx这个文档中 文件命名规则channel_code_日期.txt 2.2.2 FTP下载_BI_原始话单 跟上面删除原始话单一样，在基本属性选项卡中，设置执行节点为 node1； 在Ftp参数选项卡中做如下设置: 文件模式就是你话单文件; ftp服务器这个是在系统参数设置的 如果你修改和或者新建了一个ftp记得要发布才可以使用 本地目录就是从ftp下载换单存放的路径; 远程目录就是ftp话单存放的地址，这个是文档上面约定好了 channel_cdr _market_remote_dir在系统参数中配置的就是./client 2.2.3 转换 跟上面一样在基本属性中执行节点选上node1,选上刚才新建的数据流load_etl_test: 2.2.4 存储过程 跟上面一