BI商业智能：Kettle重点培训文档.pptx

苏州百咨信息技术有限公司Kettle使用培训文档什么是ETLKettle？/phrase/200603140849245.htmlETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）， ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到/view/19711.htm数据仓库或数据集市中，成为/view/22068.htm联机分析处理、/view/22068.htm数据挖掘的基础。/phrase/200603140849245.htmlKettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Kettle使用-ETLKettleKettle的下载部署Kettle使用-下载部署Kettle可以在开源网站/projects/pentaho/files//projects/pentaho/files/进行下载下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可Kettle的运行文件：新建Ktr,Kjb，保存，打开，打印等编辑：设置环境变量，操作的重做和撤销等视图：可以放大或缩小设计区控件的大小资源库：可以连接和断开资源库转换：可以对转换进行运行、调试、预览作业：可以对作业进行运行、预览向导：可以对创建数据库、复制拷贝进行向导帮助：进行帮助相关操作Kettle使用-菜单介绍新建一个转换工作Kettle使用-ktrkjb点击页面左上角的 可以创建一个新的转换（transformation），点击 保存到本地路径，例如保存到D:/ etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr点击页面左上角的 创建一个新的工作（job），点击 保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjbKettle使用-新建KtrKettle使用-新建KjbTransformation控件介绍主对象树菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。Steps：一个transformation中应用到的环节列表Hops：一个transformation中应用到的节点连接列表Kettle使用-transformationTransformation菜单介绍核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。常用环节介绍输入：输入环节输出：输出环节查询：查询环节转换：转化环节连接：连接环节脚本：脚本环节数据仓库：数据仓库环节Kettle使用-transformationTransformation菜单介绍Kettle使用-Transformation每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。类别 环节名称 功能说明 Input 文本文件输入 从本地文本文件输入数据 表输入 从数据库表中输入数据 获取系统信息 读取系统信息输入数据 Output 文本文件输出 将处理结果输出到文本文件 表输出 将处理结果输出到数据库表 插入/更新 根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断 更新 根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止 删除 根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止Lookup 数据库查询 根据设定的查询条件，对目标表进行查询，返回需要的结果字段 流查询 将目标表读取到内存，通过查询条件对内存中数据集进行查询 调用DB存储过程 调用数据库存储过程 Transform 字段选择 选择需要的字段，过滤掉不要的字段，也可做数据库字段对应过滤记录 根据条件对记录进行分类排序记录 将数据根据某以条件，进行排序空操作 无操作增加常量 增加需要的常量字段Scripting Modified Java Script Value扩展功能，编写JavaScript脚本，对数据进行相应处理Mapping 映射（子转换） 数据映射Job Sat Variables设置环境变量Get Variables获取环境变量Job菜单介绍主对象