datastage教程.doc

1、【第一章】datastage简介与工作原理 简介?数据中心（数据仓库）中的数据来自于多种业务数据源，这些数据源可能是不同硬件平台上，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在不同的数据库中。如何获取并向数据中心（数据仓库）加载这些数据量大、种类多的数据，已成为建立数据中心（数据仓库）所面临的一个关键问题。针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，专业的数据抽取、转换和装载工具DataStage是最好的选择。?Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据中心（数据仓库）目标数据库的集成工具。?DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：?大型主机系统数据库：IMS,DB2,ADABAS,VSAM 等?开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft?SQL?Server等?ERP 系统：SAP/R3,PeopleSoft系统等，普通文件和复杂文件系统，FTP 文件系统，XML等 IIS,Netscape,Apache等Web服务器系统 Outlook等Email系统。DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。其中简单的数据转换可以通过在界面上拖拉操作和调用一些 DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且 DataStage 提供调试环境，可以极大提高开发和调试抽取、转换程序的效率。 【第二章】datastage安装配置 EE 版在 AIX unix??安装先决条件?建立 dsadm?用户??使用如下命令： useradd -d /home/dsadm dsadm?准备好必备文件?*.tar.z?解压缩文件?先使用命令： gzip -d *.Z?将*.Z?的文件解压缩为*.tar 的文件?在使用命令： tar -xvf *.tar?将*.tar 的文件解压缩为含有 install.sh 的一组文件?开始安装??运行命令?./install.sh??进入图 1 所示画面:??图 1?提示安装程序检测是否是新安装 DataStage, 输入 y,继续安装过程， 进入图 2 所示画面:??图 2 所示画面提示是 root 安装还是 non-root 安装， 输入 y 进入图 3 所示画面:??图 3 所示画面提示版权信息，输入 n 进入图 4 所示画面:??图 4 所示画面提示版本信息，输入 n 进入图 5 所示画面??图 5 所示画面提示 License Agreement, 输入 y 进入图 6 所示画面?图 6 所示画面提示选择安装文件中压缩包解压缩的临时路径， 目标文件夹必须要有 600M 以上的空间，默认路径为/tmp/dsinstall/unpack，改变输入 c，输入 n 则进入图 7 所示画面:??图 7 所示画面输入 DataStage licence，包括序列号，CPU 个数，有效日期，授权码等信息。输入完成后按 n 则进入图 8 所示画面:?图 8 所示画面提示输入 RTI,SAS,IMS 相关授权码，此项为可选项，视情况输入，也可不输直接按 n 进入图 9 所示画面：??图 9 所示画面提示输入 DataStage 的安装路径，按 c 可进行改动，按 n 则进入图 10 所示画面：??图 10 所示画面提示选择安装语言的种类，默认为英语，我们需要将其变换为简体中文。输入 c，然后选择 5??图 11 所示，确认选中简体中文后，按 n 进入图 12 所示画面：??图 12 提示需要安装的插件，若安装全部，输入 a，如图 13 所示：??在图 13 所示画面上，按 n, 并输入新建立的工程的名称，SGMEDWPRITP,如图 14 所示画面:??在图 14 所示画面上，按回车键进入图 15 所示画面:??在图 15 所示画面上，选择新建立工程的存放路径，选择默认路径直接回车进入图 16 所示画面：??图 16 所示画面提示建立的 Project 是否是保护的，输入 U 则不保护。进入图 17 所示画面：??结束新建，直接输入回车，进入图