MPP数据库将支撑起大数据时代.docxVIP

新型MPP数据库将支撑起大数据时代 　　大数据这个领域过去5年发展很快、热度很高，但是总的来说目前还在起步阶段。本次研讨会我会先谈谈数据，以及大数据对数据处理技术的压力，然后为大家分享一下为什么这几年数据处理技术上的创新很多。　　1. 数据价值的发现与使用　　在大数据的4个V中，最显著的特征应该是Value(价值)。不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据。　　我跟数据打了20多年的交道，从来没感觉到搞数据的地位有今天这么高。整个社会对数据的认知变了，大数据最大的贡献至少是让社会各个层面开始认识到数据的重要性，包括最高领导和底层的老百姓。　　目前大家基本达成共识：数据像石油、煤一样是宝贵的资产，其内在的价值非常巨大。另外一个显著的贡献无疑是互联网企业对于数据的巧妙使用和价值体现。　　2. 数据处理技术的回顾　　互联网的数据“大”是不争的事实，现在分析一下数据处理技术面临的挑战。目前除了互联网企业外，数据处理领域还是传统关系型数据库(RDBMS)的天下。传统RDBMS的核心设计思想基本上是30年前形成的。过去30年脱颖而出的无疑是Oracle公司。全世界数据库市场基本上被Oracle，IBM/DB2，Microsoft/SQL Server 垄断，其他几家市场份额都比较小。SAP去年收购了Sybase，也想成为数据库厂商。有份量的独立数据库厂商现在就剩下Oracle和Teradata。开源数据库主要是MySQL，PostgreSQL，除了互联网领域外，其他行业用的很少。这些数据库当年主要是面向OLTP交易型需求设计、开发的，是用来开发人机会话应用为主的。这些传统数据库底层的物理存储格式都是行存储，比较适合数据频繁的增删改操作，但对于统计分析类的查询，行存储其实效率很低。在这些成熟的数据库产品中，有2个典型特例：一个是Teradata，一个是Sybase IQ。　　Teradata一开始就使用MPP(Massive Parallel Processing)架构，以软硬一体机的产品方式提供给客户，其定位是高端客户的数据仓库和决策分析系统，Teradata在全世界的客户只有几千个。在这个数据分析高端市场上，Teradata一直是老大，在数据分析技术上Oracle和IBM打不过Teradata。Sybase IQ是一款最早基于列存储的关系型数据库产品，其定位跟Teradata类似，不过是以软件方式销售的。Teradata和Sybase IQ在数据分析应用上的性能其实都比Oracle，DB2等要普遍好。　　3. 数据增长加速，数据多样化，大数据时代来临　　如果说现在是大数据时代了，其实是数据来源发生了质的变化。在互联网出现之前，数据主要是人机会话方式产生的，以结构化数据为主。所以大家都需要传统的RDBMS来管理这些数据和应用系统。那时候的数据增长缓慢、系统都比较孤立，用传统数据库基本可以满足各类应用开发。　　互联网的出现和快速发展，尤其是移动互联网的发展，加上数码设备的大规模使用，今天数据的主要来源已经不是人机会话了，而是通过设备、服务器、应用自动产生的。传统行业的数据同时也多起来了，这些数据以非结构、半结构化为主，而真正的交易数据量并不大，增长并不快。机器产生的数据正在几何级增长，比如基因数据、各种用户行为数据、定位数据、图片、视频、气象、地震、医疗等等。　　所谓的“大数据应用”主要是对各类数据进行整理、交叉分析、比对，对数据进行深度挖掘，对用户提供自助的即席、迭代分析能力。还有一类就是对非结构化数据的特征提取，以及半结构化数据的内容检索、理解等。　　传统数据库对这类需求和应用无论在技术上还是功能上都几乎束手无策。这样其实就给类似Hadoop的技术和平台提供了很好的发展机会和空间。互联网公司自然就选择能支撑自己业务的开源技术了，反过来又推动了开源技术的快速发展。　　4. 新的数据处理技术、产品和创新　　为了应对数据处理的压力，过去十年间在数据处理技术领域有了很多的创新和发展。除了面向高并发、短事务的OLTP内存数据库外(Altibase， Timesten)，其他的技术创新和产品都是面向数据分析的，而且是大规模数据分析的，也可以说是大数据分析的。　　在这些面向数据分析的创新和产品中，除了基于Hadoop环境下的各种NoSQL外，还有一类是基于Shared Nothing架构的面向结构化数据分析的新型数据库产品(可以叫做NewSQL)，如：Greenplum(EMC收购)，Vertica(HP 收购)，Asterdata(TD 收购)，以及南大通用在国内开发的GBase 8a MP Cluster等。目前可以看到的类似开源和商用产品达到几十个，而