elt平台操作手册kettle.docVIP

智能数据比对系统ELT平台操作手册 【用户手册】 广州市灵讯通信科技有限公司 2011-01-7 目录 TOC \o 1-4 第1章 系统介绍 2 1.1 系统简介 2 第2章 系统管理 2 2.1 基本概念 2 2.2 主界面介绍 2 2.3 基本功能 2 第3章 转换步骤 2 3.1文本文件输入 2 3.2表输入 2 3.3 EXCEL输入 2 3.4 CSV文件输入 2 3.5文本文件输出 2 3.6表输出 2 3.7 EXCEL输出 2 3.8插入/更新 2 3.9更新 2 3.10删除 2 3.11调用DB存储过程 2 3.12 Switch分支 2 3.13 修改Java Script的值 2 3.14 值映射 2 3.15 列转行 2 3.16 去除重复记录 2 3.17去除重复记录（哈希集合） 2 3.18增加常量 2 3.19增加序列 2 3.20字段选择 2 3.21字符串裁剪 2 3.22封锁步骤 2 3.23执行SQL脚本 2 3.24执行SQL脚本行 2 3.25拆分字段 2 3.26排序记录 2 3.27数据库查询 2 3.28数据库连接 2 3.29替换字符串 2 3.30空操作 2 3.31行扁平化 2 3.32行标准化 2 3.33计算器 2 3.34过滤记录 2 3.35追加流 2 3.36从结果中获取文件 2 3.37把文件设置到结果中 2 3.38获取变量 2 3.39获取系统信息 2 3.40设置变量 2 第4章 作业步骤 2 4.1 Start（开始） 2 4.2 DUMMY 2 4.3 转换 2 4.4 采集作业 2 4.5 Shell 2 4.6 SQL 2 4.7 发邮件 2 4.8 收邮件 2 4.9 消息对话框 2 4.10 FTP 2 4.11 HTTP 2 4.12 SSH2上传 2 4.13 SSH2获取 2 4.14 Zip 文件 2 4.15 上传文件到FTP 2 4.16 从FTP下载文件 2 4.17 使用加密的FTP上传 2 4.18 写到文件 2 4.19 创建一个文件夹 2 4.20 创建文件 2 4.21 删除FTP文件 2 4.22 删除多个文件 2 4.23 删除文件 2 4.24 删除文件夹 2 4.25 在结果中删除文件名 2 4.26 复制或移动结果文件 2 4.27 复制文件 2 4.28 安全的FTP 2 4.29文件比较 2 4.30 比较文件夹 2 4.31 添加文件名到结果 2 4.32 移动文件 2 4.33 等待文件 2 4.34解压zip文件 2 4.35 列在表中存在 2 4.36 判断文件夹是否为空 2 4.37 判断文件是否存在 2 4.38 判断文件的指标 2 4.39 判断是否有文件被锁定 2 4.40 判断表中的行数 2 4.41 文件存在 2 4.42 检查WebService的可用性 2 4.43 检查数据库连接 2 4.44 检查表存在 2 4.45 等待 2 4.46 简单评估 2 第1章 系统介绍 1.1 系统简介 ETL平台用于数据的抽取、转换、加载，为数据比对提供数据的采集、转换、导入、导出等功能。 第2章 系统管理 2.1 基本概念 数据库连接：用户自定义的，在转换或作业中使用的数据库连接。 转换：数据抽取、转换、加载流程的封装。 作业：将多个转换或一些任务封装，用于ETL任务的执行。 知识库：固定存储已建立好的连接、转换或作业的位置。 数据流：分输入流和输出流，输入流是离开一个步骤时的行的堆栈，输出流是进入一个步骤时的行的堆栈。 节点连接：连接两个步骤的连线。 2.2 主界面介绍 【功能描述】 浏览和管理知识库。 增加数据库连接。 增加转换或作业。 导入、导出XML文件。 【操作步骤或操作内容】 功能1：浏览和管理知识库 1、用户进入ETL平台，点击『知识库』页签，可浏览知识库，如下图所示： 2、双击其中一个数据库连接、采集作业或转换，可打开相应的页面，进行查看、运行、修改和删除。 功能2：增加数据库连接 单击图标，选择『新建数据库连接』选项，打开如下图所示窗口： 连接类型：选择数据库类型。 访问方法：推荐使用JDBC。 连接名称：用户自定义。 服务器主机：填写数据库服务器IP地址。 数据库名称：填写数据库名称。 数据库表空间：填写数据库的用户数据表空间名称。 索引表空间：填写数据库的索引表空间名称。 端口号：填写数据库使用的端口号。 用户名和密码：登陆数据库的用户名和密码。 功能3：增加转换或