大数据的五大核心技术.pdfVIP

大数据的五大核心技术--第1页

大数据的五大核心技术

1

大数据的五大核心技术--第1页

大数据的五大核心技术--第2页

21世纪，世界已经进入数据大爆炸的时代，大数据时代已经来临。从商业公司内部的各种管理和运

营数据，到个人移动终端与消费电子产品的社会化数据，再到互联网产生的海量信息数据等，每天世

界上产生的信息量正在飞速增长。2009年数据信息量达到8000亿GB，而到2011年达到1.8ZB。

图灵奖获得者JimGray提出的“新摩尔定律”：“每18个月全球新增信息量是计算机有史以来全部

信息量的总和”，已经得到验证。

大数据的“大”不仅仅体现在数据的海量性，还在于其数据类型的复杂性。随着报表、账单、影像、

办公文档等在商业公司中得到普遍使用，互联网上视频、音乐、网络游戏不断发展，越来越多的非结

构化数据进一步推动数字宇宙爆炸。数据海量而复杂，这是对大数据的诠释。与传统的数据相比，大

数据具有规模性（Volume）、多样性（Variety）、高速性（Velocity）和低价值密度（Value）的

4V特点。规模性和高速性是数据处理一直以来研究和探讨的问题，多样性和价值密度低是当前数据

处理发展中不断显现出来的问题，而且在可以预见的未来，随着智慧城市、智慧地球等各种新设想的

不断成为现实，上面的4中问题将会变得更加凸显，而且是不得不面对的问题。

数据的产生经历了被动、主动和自动3个阶段。大数据的迅猛发展是信息时代数字设备计算能力和部

署数量指数增长的必然结果。解决大数据研究中的问题，必须要从大数据的产生背景进行研究。大数

据的产生源于规模效应，这种规模效应给数据的存储、管理以及数据的分析带来了极大的挑战，数据

管理方式上的变革正在酝酿和发生。大数据的规模效应要求其存储、运算方案也应当从规模效应上进

行考虑。传统的单纯依靠单设备处理能力纵向发展的技术早已经不能满足大数据存储和处理需求。以

Google等为代表的一些大的数据处理公司通过横向的分布式文件存储、分布式数据处理和分布式的

数据分析技术很好的解决了由于数据爆炸所产生的各种问题。

1大数据关键技术

1.1大数据系统的架构

2

大数据的五大核心技术--第2页

大数据的五大核心技术--第3页

大数据处理系统不管结构如何复杂，采用的技术千差万别，但是总体上总可以分为以下的几个重要部

分。

从数据处理的一般流程可以看到，在大数据环境下需要的关键技术主要针对海量数据的存储和海量数

据的运算。传统的关系数据库经过近40年的发展已经成为了一门成熟同时仍在不断演进的数据管理

和分析技术，结构化查询语言（SQL）作为存取关系数据库的语言得到了标准化，其功能和表达能力

也得到的不断增强。但是，关系数据管理系统的扩展性在互联网环境下遇到了前所未有的障碍，不能

胜任大数据分析的要求。关系数据管理模型追求的是高度的一致性和正确性。纵向扩展系统，通过增

加或者更换CPU、内存、硬盘以扩展单个节点的能力，终会遇到“瓶颈”。

大数据的研究主要来源于依靠数据获取商业利益的大公司。Google公司作为全球最大的信息检索公

司，其走在了大数据研究的前沿。面对呈现爆炸式增加的因特网信息，仅仅依靠提高服务器性能已经

远远不能满足业务的需求。如果将各种大数据应用比作“汽车”，支撑起这些“汽车”运行的“高速

公路”就是云计算。正是云计算技术在数据存储、管理与分析等方面的支持，才使得大数据有用武之

3

大数据的五大核心技术--第3页

大数据的五大核心技术--第4页

地。Google公司从横向进行扩展，通过采用廉价的计算机节点集群，改写软件，使之能够在集群上

并行执行，解决海量数据的存储和检索功能。2006年Google