生产环境选型考虑：Spark 全方位对比 Hadoop MapReduce.pdfVIP

生产环境选型考虑：Spark全方位对比HadoopMapReduce--第1页

ApacheSpark与HadoopMapReduce的五个主要区别：

1、ApacheSpark可能比HadoopMapReduce快100倍。

2、ApacheSpark使用内存，并且不依赖于Hadoop的两阶段范式。

3、ApacheSpark适用于可以全部放入服务器内存的较小数据集。

4、Hadoop处理海量数据集更具成本效益。

5、ApacheSpark现在比HadoopMapReduce更受欢迎。

多年来，Hadoop一直是大数据无可争议的首选——直到Spark出现。自2014年首次发布以来，ApacheSpark一直在点燃大

数据世界。凭借Spark便捷的API和承诺的速度比HadoopMapReduce快100倍，一些分析人士认为，Spark标志着大数据

新时代的到来。

Spark是一个开源数据处理框架，如何能够如此快速地处理所有这些信息？秘诀在于Spark在集群上运行在内存中，它不依赖

于Hadoop的MapReduce两阶段范式。这使得重复访问相同数据的速度更快。Spark可以作为独立应用程序运行，也可以在

HadoopYARN之上运行，它可以直接从HDFS读取数据。雅虎、英特尔、百度、Yelp和Zillow等数十家主要科技公司已经

将Spark作为其技术堆栈的一部分。

虽然Spark似乎注定要取代HadoopMapReduce，但您现在还不应该指望MapReduce。在这篇文章中，我们将比较这两个平台，

看看Spark是否真的非常有优势。

什么是ApacheSpark？

ApacheSpark是“用于大规模数据处理的统一分析引擎”。Spark由非营利性的ApacheSoftwareFoundation维护，该基金会

已经发布了数百个开源软件项目。自项目启动以来，已有1200多名开发人员为Spark做出了贡献。

Spark最初是在加州大学伯克利分校的AMPLab开发的，于2010年首次作为开源项目发布。Spark使用HadoopMapReduce

分布式计算框架作为其基础。Spark旨在改进MapReduce项目的几个方面，例如性能和易用性，同时保留MapReduce的许

多优点。

Spark包括一个核心数据处理引擎，以及用于SQL、机器学习和流处理的库。凭借适用于Java、Scala、Python和R的API，

Spark在开发人员中享有广泛的吸引力——为其赢得了大数据处理领域“瑞士军刀”的美誉。

什么是HadoopMapReduce？

HadoopMapReduce将自己描述为“一个用于轻松编写应用程序的软件框架，该应用程序以可靠、容错的方式在大型商用硬件集

群（数千个节点）上并行处理大量数据（多TB数据集）。”

MapReduce范式由两个顺序任务组成：Map和Reduce（因此得名）。Map过滤和排序数据，同时将其转换为键值对。然后，

Reduce接受此输入并通过对数据集执行某种汇总操作来减小其大小。

MapReduce可以通过分解大型数据集并并行处理它们来极大地加速大数据任务。MapReduce范式由Google员工JeffDean

和SanjayGhemawat于2004年首次提出；后来它被整合到Apache的Hadoop框架中以进行分布式处理。