- 1、本文档共21页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
ETL业务开发指导文档课件
ETL业务开发指导
目 录
1. ETL概述 3
1.1 ETL是什么 3
1.2 适用范围 3
1.3 工具和配置 3
1.4 新建ETL用户 4
2. ETL开发 5
2.1 新建ELL 5
2.2控制流配置 6
2.3数据流配置 14
2.4 ETL测试 18
ETL概述
ETL是什么
【ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。
:将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中HUAWEI_ETL_Client免安装版。
工具ftp地址:
3 public/public
工具路径:soft/HUAWEI_ETL_Client.rar
除此之外还要下载jdk1.5
1.3.2 配置
到ftp上面下载完etl开发软件解压之后,用记事本在根目录打开client.bat
其中 JAVA_HOME就是刚才你下载的jdk1.5的安装之后的目录.
运行这个工具必须断开iAccess,断开iAccess
新建ETL用户
断开iacess后,双击client.bat,使用管理员用户登录:admin/admin@123456
比如我想建立一个etl_test的用户,操作如下:
激活用户是给很久没登录的用户激活的
注意一定要指定你的用户角色为SysAdmin;
出现保存成功提示框,说明你的用户创建成功。
开发的时候使用你自己创建的用户登录开发。
ETL开发
以我20版本的REQ-2306-SMU-ETL01 ELT三种话单入库这个需求中其中一个渠道营销参数话单入库为例:
SVN路径:3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/REQ-2306_软件需求分析文档_平台侧渠道智能推荐需求.docx
新建ELL
1.到ELT客户端上面,新建包:比如我新建的包是bi_test
2新建控制流etl_test
新建数据流
2.2控制流配置
1.双击刚才新建的etl_test控制流
业务的ETL简单的流程基本上我们只会用到空白,外部程序,FTP下载,转换任务,存储过程.
空白:一般是任务开始和结束的描述就像流程图六边形的开始和椭圆形结束;
外部程序:这个一般是调用Linux某个目录下的shell脚本进行某些操作;
FTP下载:如名字,从某个FTP上面下载某个话单文件;
转换任务:一般将话单文件中的内容入到某个数据库与之对应的某个表(临时表)中;
存储过程:就是讲刚才转换任务某个数据库中临时表中的数据入到数据库中同义词指定的AB表中。
大致流程如下:
操作步骤:
2.2.1 外部程序配置
双击外部程序_删除原始话单
双击外部程序_删除原始换单任务,将执行节点选择为node1
点击外部命令选项卡,设置外部命令
[script_dir],[data_dir]这类带[]都是在系统参数那边配置的
sh [script_dir]/rmcdr.sh(8 etl/etl)这句话的意思是执行/home/etl/script目录下的rmcdr.sh这个脚本用于删除话单文件
[data_dir]/bi_rankcdr/etl_test channel_code_(93 etl/etl) 这个是你话单文件存放的地址
channel_code_这个是你话单文件的前缀,以我2306的需求为例:
在3:3690/svn/AS_SID_SVN/ereading/doc/ChinaMobile/小组文件夹/01.系统组/11.需求池/需求文档/原始需求及设计规格/REQ-2301至REQ-2400/REQ-2306/渠道图书级阅读关联推荐接口.docx这个文档中
文件命名规则channel_code_日期.txt
2.2.2 FTP下载_BI_原始话单
跟上面删除原始话单一样,在基本属性选项卡中,设置执行节点为 node1;
在Ftp参数选项卡中做如下设置:
文件模式就是你话单文件;
ftp服务器这个是在系统参数设置的
如果你修改和或者新建了一个ftp记得要发布才可以使用
本地目录就是从ftp下载换单存放的路径;
远程目录就是ftp话单存放的地址,这个是文档上面约定好了
channel_cdr _market_remote_dir在系统参数中配置的就是./client
2.2.3 转换
跟上面一样在基本属性中执行节点选上node1,选上刚才新建的数据流load_etl_test:
2.2.4 存储过程
跟上面一
您可能关注的文档
- Environmental_Protection(环境保护演讲PPT)课件.ppt
- 数字逻辑实验2016详解.ppt
- EMS系统外围器件课件.ppt
- 数字逻辑第一次试验详解.docx
- EN620标准译文课件.doc
- 数字逻辑电路与计算机组成原理实验指导书_v1.4详解.docx
- 数学习题二详解.ppt
- 数学·必修2(苏教版)课件:第2章2.3-2.3.2空间两点间的距离详解.ppt
- 数学学科代码详解.doc
- 数学五年级下人教新课标3.3.1体积和体积单位课件详解.pptx
- 2025年中考语文写作专项复习:作文分类之考场议论文技法指导课件.pptx
- 6.19.3+植物的生殖方式课件2024-2025学年北师大版生物八年级上册.pptx
- 3.14丝绸之路的开通与经营西域+课件--2024-2025学年统编版七年级历史上册.pptx
- 3.15+秦汉时期的科技与文化++课件++2024-2025学年统编版七年级历史上册.pptx
- Unit 2 We’re FamilySection B 1a-2b课件-2024-2025学年鲁教版 五四制六年级英语上册.pptx
- 20.曹刿论战 第1课时.pptx
- +Unit5+Project++Reading+Plus课件++-+2024-2025学年人教版英语七年级上册.pptx
- 1.3+太平天国运动+课件--+2024-2025学年统编版八年级历史上册.pptx
- Module+10+Unit+1+It+might+snow+课件+2024-2025学年外研版英语八年级上册.pptx
- Unit7+ ?Section+B1a-1e课件+2024-2025学年人教版英语八年级上册+.pptx
文档评论(0)