ETL业务开发指导文档课件.doc

  1. 1、本文档共21页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
ETL业务开发指导文档课件

ETL业务开发指导 目 录 1. ETL概述 3 1.1 ETL是什么 3 1.2 适用范围 3 1.3 工具和配置 3 1.4 新建ETL用户 4 2. ETL开发 5 2.1 新建ELL 5 2.2控制流配置 6 2.3数据流配置 14 2.4 ETL测试 18 ETL概述 ETL是什么 【ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 :将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中HUAWEI_ETL_Client免安装版。 工具ftp地址: 3 public/public 工具路径:soft/HUAWEI_ETL_Client.rar 除此之外还要下载jdk1.5 1.3.2 配置 到ftp上面下载完etl开发软件解压之后,用记事本在根目录打开client.bat 其中 JAVA_HOME就是刚才你下载的jdk1.5的安装之后的目录. 运行这个工具必须断开iAccess,断开iAccess 新建ETL用户 断开iacess后,双击client.bat,使用管理员用户登录:admin/admin@123456 比如我想建立一个etl_test的用户,操作如下: 激活用户是给很久没登录的用户激活的 注意一定要指定你的用户角色为SysAdmin; 出现保存成功提示框,说明你的用户创建成功。 开发的时候使用你自己创建的用户登录开发。 ETL开发 以我20版本的REQ-2306-SMU-ETL01 ELT三种话单入库这个需求中其中一个渠道营销参数话单入库为例: SVN路径:3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/REQ-2306_软件需求分析文档_平台侧渠道智能推荐需求.docx 新建ELL 1.到ELT客户端上面,新建包:比如我新建的包是bi_test 2新建控制流etl_test 新建数据流 2.2控制流配置 1.双击刚才新建的etl_test控制流 业务的ETL简单的流程基本上我们只会用到空白,外部程序,FTP下载,转换任务,存储过程. 空白:一般是任务开始和结束的描述就像流程图六边形的开始和椭圆形结束; 外部程序:这个一般是调用Linux某个目录下的shell脚本进行某些操作; FTP下载:如名字,从某个FTP上面下载某个话单文件; 转换任务:一般将话单文件中的内容入到某个数据库与之对应的某个表(临时表)中; 存储过程:就是讲刚才转换任务某个数据库中临时表中的数据入到数据库中同义词指定的AB表中。 大致流程如下: 操作步骤: 2.2.1 外部程序配置 双击外部程序_删除原始话单 双击外部程序_删除原始换单任务,将执行节点选择为node1 点击外部命令选项卡,设置外部命令 [script_dir],[data_dir]这类带[]都是在系统参数那边配置的 sh [script_dir]/rmcdr.sh(8 etl/etl)这句话的意思是执行/home/etl/script目录下的rmcdr.sh这个脚本用于删除话单文件 [data_dir]/bi_rankcdr/etl_test channel_code_(93 etl/etl) 这个是你话单文件存放的地址 channel_code_这个是你话单文件的前缀,以我2306的需求为例: 在3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/渠道图书级阅读关联推荐接口.docx这个文档中 文件命名规则channel_code_日期.txt 2.2.2 FTP下载_BI_原始话单 跟上面删除原始话单一样,在基本属性选项卡中,设置执行节点为 node1; 在Ftp参数选项卡中做如下设置: 文件模式就是你话单文件; ftp服务器这个是在系统参数设置的 如果你修改和或者新建了一个ftp记得要发布才可以使用 本地目录就是从ftp下载换单存放的路径; 远程目录就是ftp话单存放的地址,这个是文档上面约定好了 channel_cdr _market_remote_dir在系统参数中配置的就是./client 2.2.3 转换 跟上面一样在基本属性中执行节点选上node1,选上刚才新建的数据流load_etl_test: 2.2.4 存储过程 跟上面一

文档评论(0)

jiayou10 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8133070117000003

1亿VIP精品文档

相关文档