datastage使用说明.doc

用DataStage进行数据整合DataStage 的开发环境是基于 C/S 模式的，通过 DataStage Client 连接到DataStage Server 上进行开发。这里有一点需要注意，DataStage Client 只能安装在 Windows 平台上面。而 DataStage Server 则支持多种平台，比如 Windows、Redhat Linux、AIX、HP-UNIX。DataStage Client 有四种客户端工具。分别是 DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。接下来首先介绍这几种客户端工具在 DataStage 架构中所处的位置以及它们如何协同工作来开发 ETL Job 的，接着再分别详细介绍每个工具的功能。 图 1 描述了 IBM WebSphere DataStage 的整个系统架构。DataStage 的客户端工具连接到DataStage Server 上进行 ETL Job 的开发，DataStage Server 再与后台的数据库连接起来进行数据处理。DataStage 的客户端工具之间的是一个相互合作的关系。下面通过介绍 ETL Job的开发过程来介绍他们之间的这种关系。 ETL Job开发流程 1． 用 DataStage Administrator 新建一个项目； 2． 用 DataStage Designer 连接到这个新建的项目上进行ETL Job的设计； 3． 用 DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job； 4．用 DataStage Manager 进行ETL Job的备份等。 图 1：IBM WebSphere DataStage 架构图 DataStage Administrator DataStage Administrator 的主要功能有以下几个： 1． 设置客户端和服务器连接的最大时间。 以管理员的身份登陆 DataStage Administrator。你就会看到如下图所示的画面。在这里你可以设置客户端和服务器的最大连接时间，默认的最大连接时间是永不过期。最大连接时间的意思就是如果客户端和服务器的连接时间超过了最大连接时间，那么客户端和服务器之间的连接将被强行断开。  2． 添加和删除项目 在 Projects 这个标签中，可以新建或者删除项目，以及设置已有项目的属性。这里有必要介绍一下项目的概念，要用 DataStage 进行 ETL 的开发，首先就要用 DataStage Administrator 新建一个项目，然后在这个项目里面进行 ETL Job 的开发。  3． License的管理 可以在Licensing标签中更新License。  DataStage Designer DataStage Designer是ETL Job开发的核心环境。值得注意的是，登陆DataStage Designer 的时候，不仅要指定DataStage Server 的IP，而且要指定连接到这个DataStage Server上的哪个项目上面，上面已经提到DataStage的项目是由DataStage Administrator 来创建的。DataStage Designer的主要功能可以概括为以下三个方面： 1． ETL Job的开发 DataStage Designer里面包含了DataStage为ETL开发已经构建好的组件, 主要分为两种，一种是用来连接数据源的组件，另一种是用来做数据转换的组件。利用这些组件，开发人员可以通过图形化的方式进行ETL Job的开发。 2． ETL Job的编译 开发好ETL Job后，可以直接在DataStage Designer里面进行编译。如果编译不通过，编译器会帮助开发人员定位到出错的地方。 3． ETL Job的执行 编译成功后，ETL Job就可以执行了，在DataStage Designer里面可以运行ETL Job。ETL Job的运行情况可以在DataStage Director中看到，这方面的内容将在介绍DataStage Director的时候提到。 DataStage Manager DataStage Manager主要用来管理项目资源。一个项目可能包含多个ETL Job，可以用DataStage Manager把一个项目里面的ETL Job导出来。然后再用DataStage Manager导入到另外一个项目中去，利用这个功能一方面可以实现ETL Job的备份，另一方面就是可以在多个项目之间来重复使用开发好