数据仓库专用引擎-Teradata.doc

数据仓库专用引擎-Teradata RDBMS 对于国内数据库人士来说，Teradata也许还不象DB2、Oracle那么熟悉。但在国外，由于它驱动着世界上几乎一半的数据仓库，并且世界上最大的几十个数据仓库均采用它作为核心引擎，因此，Teradata几乎成了数据仓库引擎的代名词。 对国内一些用户来说，一个自然的问题是：Teradata是什么？最简单的回答就是：它是一个关系数据库管理系统。既然如此，为什么要用Teradata而不使用那些传统的商用数据库系统比如Oracel来建立数据仓库呢？我们知道，商用数据库基本上是针对OLTP应用而开发出来的，由于数据仓库有其固有的特点，这些传统的商用数据库不一定适合来驱动数据仓库应用，因为每种产品都有其强项和弱项，不可能面面俱到。而Teradata则是专门用来处理大量数据、针对决策支持应用而设计出来的，它具有很强的并行处理能力和扩展能力。下面我们将从Teradata的发展过程开始来介绍它的基本特点，从这些特点我们可以理解为什么说它是数据仓库的专用引擎。 Teradata简介 Teradata是专门针对决策支持应用而设计的，早在1983年就推出了世界上第一个基于海量并行处理技术(MPP)的商用系统。 长期以来，NCR公司投入了大量的人力、财力，对Teradata作了许多增强和优化，使得其更适合于进行海量数据的综合分析和处理。Teradata从早期基于硬件的封闭系统发展成运行于UNIX环境、基于虚拟处理器(VPROC)技术的关系型数据库管理系统。 特别值得强调的是，著名的评估机构Gartner Group于1994年将Teradata评为“商用并行处理的领导者”，1996年进一步指出，“只有NCR的Teradata证明了其可扩展性”。我们知道，对于一个实际应用的数据仓库而言，并行处理能力和可扩展性是至关重要的两大因素，而Teradata正是通过其大量的实际应用而获此殊荣的。 在数据库专业杂志“数据库编程与设计” (Database Programming Design)每年的评选数据库十二大产品(Database Dozen)的活动中，Teradata已经连续第7年入选。在1999年的评选中，该杂志认为，“Teradata代表了数据库技术的发展方向”。 2000年初，Gartner Group发表了著名的ASEM(Application Server Enterprise Model)评估报告，分别针对OLTP和数据仓库两个应用领域对目前市场上各大供应商进行了综合评估，评估指标非常全面，涵盖了产品特点、专业技术服务能力以及成功应用案例等各个方面。在数据仓库领域，NCR公司在系统性能、可扩展能力、容易管理、专业技术服务、成功案例等关键指标方面名列第一，并且最后总分第一。其中Teradata RDBMS就是一个非常重要的产品之一。其它一些专业评估机构如MetaGroup等，都对NCR的Teradata数据仓库解决方案给予了极高的评价。 Teradata的基本结构 Teradata采用了一种先进的虚拟处理器技术，称为VPROC (Virtual Processor)。VPROC有两种，即PE(Parsing Engine，分析引擎，负责与外部的接口、查询的优化、任务调度等)和AMP (Access Module Processor，存取模块处理器，负责完成数据处理操作)。其基本设想是：如果将一个复杂的任务分解成多个简单的子任务，每个虚拟处理器执行一个或几个简单的子任务，最后将各虚拟处理器的执行结果汇总，那么总的执行时间就能大大缩短。 图8-14 Teradata内部并行处理机制 Teradata同时支持SMP和MPP，在一个单节点的SMP系统中，其基本结构可以用下图8-15来表示： 图8-15 Teradata在SMP结点内的逻辑结构 对于MPP系统，每个节点中的结构和图21是相同的。 从图中可以看到，系统与外界的接口有以下两种： 网关：所有支持TCP/IP协议的计算机可以通过网络与Teradata相联，其交易请求和处理结果都是通过网关进行交互的。 通道：对于一些封闭主机系统(Mainframe)，Teradata提供了一种通道(Channel)直联的方式进行信息的交互，即与主机的通道直接联接，速度非常快。 交易请交通过网关或通道进入系统后，将传递给分析引擎PE (Parsing Engine)。PE是由软件实现的，是一种虚拟处理器(Virtual Processor)，简称为VPROC。PE主要由分析器(Parser)、优化器(Optimizer)和调度器(Dispatcher)组成，分析器分解接收到的SQL交易请求，进而由优化器产生最优的查询方案，由调度器控制查询的执行过程。当多个用户