东方通ETL工具软件TI-ETL v2 产品白皮书.doc

TongTech ? TI-ETL v2 产品白皮书 北京东方通科技公司 2015年 目 录 1 前言 1 2 为什么要用ETL 1 2.1 业务需求 1 2.2 IT需求 2 2.3 IT与业务一致性要求 2 3 TI-ETL v2简介 3 3.1 产品组成结构 3 3.1.1 集成开发工具 4 3.1.2 服务器 5 3.1.3 资源库 5 3.1.4 统一管理平台 6 3.2 产品结构关系 7 3.3 转换流程和任务流程 8 3.3.1 转换流程 8 3.3.2 任务流程 9 4 主要功能和特点 10 4.1 大数据适配 10 4.2 强健的ETL引擎 10 4.3 丰富的系统适配 11 4.4 资源统一存储 11 4.5 丰富的处理组件 11 4.6 多种数据抽取模式 11 4.7 图形化操作/调试/预览能力 11 4.8 高效数据处理 12 4.9 异常恢复和数据一致性 12 4.10 强大的监控管理功能 12 4.11 插件式组件管理和可扩展性 12 4.12 国产环境支持 13 5 成功案例 13 前言 随着IT应用建设的发展，数据成为了最重要的资源，无论是接地气的业务系统、应用软件、数据中心或是高大上的云/物/移/大/智，均是以数据资源为核心，依托发挥数据价值而存在和发展。 目前，虽然各行业IT发展成熟度不一致，但基本已经度过了大批量业务系统建设阶段，业务系统也经过了几年的运转，积累了不同量级的数据资源。但因早起IT业务系统的很少跨部门、跨单位、跨层级的统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，数据资源的一致性和互用性较差，数据资源的价值无法充分发挥。 此外，各行业自身业务也在逐渐多元化和复杂化，业务产生和所需使用的数据也就具有不确定和频繁变动性，导致一旦应用发生变化、新增系统或物理数据变动，一旦无法借助某些手段适应变化，整个应用和数据体系均有较大可能不得不随之修改。 数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，通过应用间的数据有效流通和流通的管理从而达到集成，主要解决数据的分布性、异构性、有效性和及时性的问题。此外，数据集成是个长期不断持续的过程，需要有易用的工具、长期可靠的运行环境、全面有效的监控管理共同支撑，而非仅通过工具可以一次性解决的。 ETL是数据集成领域的落地技术，区别与传统数据交换，ETL在可完成基本数据交换（抽取、传输、装载）的前提下，对数据的转换（即数据的按需加工处理）提供更易用和更强大的支持，使数据在不同业务之间流动的同时，各业务获取到的数据确实是可有准确、及时、有效应用的。 TI-ETL是从传统数据交换产品继续发展的产物，有着多年的数据集成领域产品研制的积淀，已在大交通（海/陆/空）、大政府、国防工业、企业等行业核心系统中成功应用，辅助众多行业和用户逐渐发挥出了数据的价值，提升了IT支撑业务的有效性。 为什么要用ETL 业务需求 IT建设随业务发展，业务过程以数据贯穿，即业务有效性的基础是数据，且有效性又包含可获得性、及时性、准确性和一致性。在信息化早起，因信息系统较少、业务关系复杂度较低，对数据关注度也较低。随着各单位自身的发展，内部组织机构、多级组织机构建设愈发全面，业务关系也愈发复杂，各内部组织以及跨不同单位之间均会因为业务关联产生数据有效关联、互用的需求。 例如单位内人力作为人资管理的职能部门，新人入职、人员在部门间调动、人员岗位晋升等人员变动情况会影响向财务、档案、信息管理等多个部门的业务，包括工资涨降、档案归档、固定资产关联等等，即人资信息发生变化时需要其它同样存储了该信息的业务部门也能够自动完成信息变更。 例如部委需要从各下级委办局汇总数据，各委办局业务系统可能是分别由不同厂商建设，虽然是处理同样的业务，但业务系统存储数据的格式和方式不同。以数据项“部门名称”为例，有的业务系统存储是的汉字，也的存储的可能是数字编码，此时虽然数据都能汇总到一起，但数据却无法合并，即使汇总后也可能无法支撑业务。 IT需求 数据大多以数据库、文件为存储载体，数据库和文件又存在多个品牌和版本，所以业务数据往往是分散在不同品牌、版本的数据库和文件中，业务系统间能够按需的互用数据则需要通过IT手段实现对不同数据源的按需适配、按需采集、按需处理、按需装载以及通过图形化界面操作定义数据间的关系和处理逻辑，实现一次定义长期有效执行，同时提供全局的可视化监控管理，能够随时掌握业务间数据交互的有效性。 IT与业务一致性要求 “按需”是业务诉求，对应IT则包括了采集、加工处理、装载、监控、运维、管理等技术要求，以满足业务层面对可获得性、及时性、准确性、一致性的需求，多以ETL产品和技术实现IT支撑： ETL提供多种