纵横大数据-云计算数据基础设施.docxVIP

简介 大数据的概念很火，但人们对它的认识却是混乱的：有人说大数据就是指所有的数据，有人说大数据是指线上行 为、日志等半结构/非结构化的数据形态，有人说大数据就是以Hadoop为代表的新技术……到底什么是大数据？同样风风火火了很久的云计算与大数据有什么 关系？令人眼花缭乱的众多大数据技术的本质是什么？各有什么优缺点？争论不休的“小变大 ”与“大变小”技术策略到底孰正孰邪？企业究竟应该如何定位与使用大数据，难道是为了Hadoop而 Hadoop？未来的技术方向究竟如何？ 《纵横大数据(云计算数据基础设施)/云计算实践指南丛书》结合现代企业数据管理实践，从策略、技术、应用、企业数据架构等多个维度，体系化地对大数据及 相关技术进行了全面深入的论述：首先对大数据相关概念予以澄清；接着深入剖析各种大数据技术的内在本质，指出其各自的优缺点、适用场景与相互关系；同时对 大数据技术“分”与“合”这两种广受争议的技术策略的内在联系进行了分析与讨论，明确指出现代数据管理技术的发展趋势；最后结合大数据时代企业新一代数据 架构规划的实际，对大数据及相关技术在企业数据体系中的具体定位给出了切实可行的建议，并且面向云数据中心建设，提出了大数据云——云计算数据基础设施的 概念与方法。 序言 “云计算”与“大数据”应该说是目前IT界最为热门的两个概念了。云计算以各种软硬件资源新的消费与交付模式为核心理念，被普遍认为将会成为未来社会最为深远的革新。而现实却是：在多“云”的天空，成功的实践却少得可怜，致使其很多情况下只是充当了一个时髦的噱头。令 人遗憾的是，如今风头已远远盖过“云计算”的“大数据”，其现实情况与此类似。大数据概念最初是伴随着Hadoop等开源技术的推广而出现的，在国内外众 多互联网公司依靠它们取得巨大成功的强力推动下，传统数据管理技术的地位受到了严重的挑战，似乎不知Hadoop、不用Hadoop就会落后！但如何才能 在本企业或者某个具体需求中正确有效地使用这些新技术呢？这至今依然是众多企业技术决策者的困惑。大多数企业目前对大数据潮流的热烈响应其实是 “雷声大，雨点小”，其中相当一部分是不分青红皂白，纯粹为了Hadoop而Hadoop，很少有产生实际成效的案例。本书认为，要正确回答这些问题，给 出合适的决策，必须对这些技术本身进行较为深入的了解与分析，然后结合自己企业的实际，做出自己的判断。任何其他企业的经验都不可以照搬照抄；任何资料中 关于各种技术的适用场景描述，即使是正确的，也都有其特殊的上下文环境，不可以当成普遍真理去盲目遵从。这里所说的对技术的了解，并不是指具体如何去使用 它，而是指其内在本质、特点与相互联系，这些往往比使用方法更重要，也是本书区别于其他大数据资料的主要特点之一。首先，让我们看看云计算与大数 据的关系，目前人们对此的理解更是混乱不堪，有人认为两者完全不同，有人则认为大数据技术其实就是云计算。对“云”，最开始，人们普遍认为那是一种采用一 堆闲散资源完成一件重大任务的技术。后来，人们又意识到现代社会对“云”的诠释，其实更多的是指一种以服务为主的商业模式，而不是一种技术。现在，绝大多 数人对“云”的理解停留于此，认为“云计算”与技术无关的人大都是这种思路。但在对“云”业务模式的实践中却发现，要搞“云”服务，必须从技术手段与商业 模式两个维度同时入手才有意义，只拥有其中任何一个方面都是不行的，甚至可以说前者要比后者重要得多。大多数情况下，在“云”能适用的领域内，如果没有前 者，后者所能提供的服务水平自然也就很有限，从而也就自然失去了“云”的含义。所以说，云计算的本质是商业模式，但其核心却仍然是技术问题。而云 在技术层面的核心问题又是什么呢？有人认为是“小变大”的分布式计算，有人认为是“大变小”的虚拟化，而本书认为，云计算最核心的问题是数据，具体地讲， 是现代业务环境下的数据管理问题，也就是能实现海量、多类型、高负载、高性能、低成本需求的数据管理技术，这实际上就是传统数据管理技术在现代的最大挑 战。这其中最耀眼的，就是各种新兴的大数据家族成员的出现，包括开源体系的Hadoop、各种NoSQL数据库、NewSQL数据库（关系数据库联邦）、 分布式文件系统等，甚至还包括非开源体系的新一代关系数据库。这样看来，“大数据”应该是“云计算”业务模式得以实现在数据管理层面的核心技术支撑，两者 密不可分。而从纯技术的角度看，“云计算”概念最初出现时就是指采用网络互联起来的设备共同完成一项庞大任务的技术策略，而Hadoop等流行大 数据技术的核心思路大多如此。因此，我们又可以说：“云计算”是大数据的技术实现方法。这便是云计算与大数据的联系，两者无论是在业务上，还是技术上，都 是相互依存的。一句话，无论叫什么名称，其实都是代表现代IT发展的最