DataStage企业版产品白皮书之二.doc

PAGE 第 PAGE 22 页  DataStage企业版白皮书之二 并行架构的五种关键要素 目 录 TOC \o 1-3 \h \z \u HYPERLINK \l _To1. 并行情况 PAGEREF _To\h 5 HYPERLINK \l _To2. 数据流架构 PAGEREF _To\h 8 HYPERLINK \l _To3. 可伸缩硬件环境支持 PAGEREF _To\h 15 HYPERLINK \l _To3.1.1 并行数据库连接 PAGEREF _To\h 20 HYPERLINK \l _To3.1.2 超越 ETL——能够整合原厂软件和第三方软件的可扩展框架 PAGEREF _To\h 23 HYPERLINK \l _To3.1.3 参考文献 PAGEREF _To\h 25 HYPERLINK \l _To3.1.4 关于 Ascential PAGEREF _To\h 26 经营综述 如今的竞争环境和市场压力迫使各个公司不断提高产量和效率。尤其是当一个企业能够在整个企业范围内利用其公司信息时，情况更是如此。但数据量一直快速增长，并将持续如此。IDC 预测，全部数据仓库中将有 68% 在未来三年内至少会翻翻。已经大于 6TB 的数据仓库中将有 73% 在未来三年内至少会翻翻。 为了满足企业整合和保持竞争力的商业需要，公司必须努力改善从前所未有的扩展来源涌入其系统的新数据的种类、数量和速度。它们需要将其所有公司数据集成在一起，尽快提交给最终用户，以实现其价值最大化。同时它们还要更精细地集成数据，在单笔交易级别进行处理，而不是单于处理总的概括性数据。 随着数据量不断增长和性能要求不断提高，架构必须能够与组织一道成长。最重要的是，这种架构不应存在上限，并且应该能够与硬件环境成线性增长。 为解决这些困难，公司需要一种可伸缩的数据集成架构，它应该具有下列特性： 1. 一种数据流架构，允许数据从输入到输出进行处理，无需存储到硬盘，批量并实时处理 2. 动态数据分割和未定数据重新分割 3. 可扩展硬件环境，可以跨 SMP 移植，簇环境，MPP 平台，无需更改下层应用程序代码 4. 支持主要的并行数据库，包括 IBM DB2 UDB、Oracle 和并行和分割的配置下的 Teradata 5. 一种可整合原厂商软件和第三方软件的可扩展框架 应当和向硬件环境中添加处理器或节点一样简单。实际上，这些硬件升级可以在不更改下层应用的情况下进行。测试基准的实际情况将证实这一点。 对 CRM、运行和销售的优势 采用并行基础结构，一家电信公司将能够把其在长途业务市场的营销活动从每月 4 个增加到 40 个，从而提前 18 个月获利。 一家运输公司开发了一种收益管理应用程序，这个程序允许其在一天内最多对业务重新定价四次，每年总计创收 1 亿美元。 一家银行只能从其数据仓库中获取概括性数据，但是概括级别的数据却无法执行高价值分析。通过采用一种允许其分析更精细的客户交易数据并使 SAS 并行运行的并行基础结构，预计每年将额外创造盈利 1 亿美元。 据 Winter Group 预测，规模在 100 到 200 兆兆字节原始数据的数据仓库将于 2004 年底前实用化，届时将可并发执行 2,000 个查询操作，占用磁盘空间将达到约一千兆兆字节（1,000 兆兆字节）。 并行情况 本文是为那些负责设计、构造、支持和使用可伸缩数据处理系统的商业和技术决策人士而准备的。 数据量在增长。因此需要能够更快地访问必威体育精装版的交易数据。 数据仓库规模 图 1. 数据仓库的规模和百分比来源：IDC 100GB - 999GB 数据仓库 三倍以上 两倍以上 100% 成长率 51% - 99% 成长率 25% -50% 成长率 25% 成长率 数据仓库 6TB 三倍以上 两倍以上 100% 成长率 51% - 99% 成长率 25% -50% 成长率 25% 成长率 图 图 2. 预计未来三年数据仓库增长率来源：IDC 1 1 据 2003 年 3 月 31 日 InformationWeek 杂志报道。 IDC 估计超过 30% 的数据仓库其规模在 500 千兆字节和 2 兆兆字节之间，如图 1 所示。 令人印象深刻的是预计将在未来七年内发生的爆炸性增长。IDC 预测，全部数据仓库中将有 68% 在未来