大厂学苑-数据人工智能基础框架hadoop hdfs.pdfVIP

第1章Hadoop概述

1.1Hadoop

从2000年开始，网络逐渐在世界各个角落流行起来，以谷歌为首的互联网公司开始从

网络中获取大量的数据，依托于这些数据，各大公司急需能够快速从海量数据中检索特定有

价值信息的技术，此时，Lucene作为高质量的开源Java产品应运而生。

Lucene最初是由DougCutting开发的。在2001年9月作为高质量的开源Java产品加入

到Apache软件的Jakarta中。随着每个版本的发布，这个项目得到明显的增强，

也吸引了的用户和开发人员。

Hadoop于ApacheNutch项目，始于2002年，是ApacheLucene的子项目之一。

2004年，在“操作系统设计与实现”（OperatingSystemDesignandImplementation，

OSDI）会议上公开了题为MapReduce：SimplifiedDataProcessingonLargeClusters

（Mapreduce：简化大规模集群上的数据处理）的，受到启发的DougCutting等人

开始尝试实现MapReduce计算框架，并将它与NDFS（NutchDistributedFileSystem）结合，

用以支持Nutch引擎的主要算法。由于NDFS和MapReduce在Nutch引擎中有着良好的应

用，所以它们于2006年2月被分离出来，成为一套完整而独立的软件，并被命名为Hadoop。

到了2008年年初，Hadoop已成为Apache的顶级项目，包含众多子项目，被应用到包括

Yahoo在内的很多互联网公司

总体来说，Hadoop是一个由Apache所开发的分布式系统基础框架，主要解决海

量数据的和分析计算的问题。不过随着Hadoop的版本升级，以及周边软件的不断出现，

现在咱们一般所提到的Hadoop其实指的是泛Hadoop生态圈，而不仅仅指Hadoop软件本

身

1.2Hadoop版本

1.2.1ApacheHadoop

Apache版本最原始（最基础）的版本，对于学习最好。2006

官网地址：

地址：

1.2.2Cloudera

Cloudera集成了很多大数据框架，对应产品CDH。2008

官网地址：

地址：

notes/topics/rg_cdh_6_download.html

（2）2009年Hadoop的创始人DougCutting也加盟Cloudera公司。Cloudera产品主要为

CDH，ClouderaManager，ClouderaSupport

（3）CDH是Cloudera的Hadoop版，完全开源，比ApacheHadoop在兼容性，安全性，

稳定性上有所增强。Cloudera的标价为每年每个节点10000。

（4）ClouderaManager是集群的软件分发及管理平台，可以在几个小时署好一个

Hadoop集群，并对集群的节点及服务进行实时。

1.2.3Hortonworks

Hortonworks文档较好，对应产品HDP。2011

Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。

官网地址：

地址：

（1）2011年成立的Hortonworks是雅虎与硅谷风司BenchmarkCapital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程

师均在2005年开始协助雅虎开发Hadoo