第2章 Hadoop简介-Hadoop技术原理与案例.pptx

Hadoop技术原理与案例

HadoopTechnicalPrinciplesPractices主编：韩玉民郭丽副主编：王尧张文宁张炎峰缑西梅

2.1Hadoop概述2.2Hadoop生态圈2.3Hadoop核心架构2.4Hadoop运行模式2.5Hadoop集群搭建2.6常见问题及解决方案2.7本章小结Hadoop简介分布式存储与计算基础第一篇第2章

Hadoop简介第2章

2.1Hadoop概述2.1.1起源2002年，Apache启动了Nutch项目，该项目是ApacheLucene的子项目之一，其设计目标是构建一个大型的全网有哪些信誉好的足球投注网站引擎，实现网页抓取、索引、查询等功能。2003-2006年，Google先后发布了《TheGoogleFileSystem》、《MapReduce:SimplifiedDataProcessingonLargeClusters》和《Bigtable:ADistributedStorageSystemforStructuredData》三篇论文，公开了部分GFS和MapReduce思想的细节，开启了工业界的大数据时代，奠定了HDFS和MapReduce的思想基础，被称为谷歌大数据的“三驾马车”，也被称为Hadoop的思想之源。2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

2.1Hadoop概述2006年2月，MapReduce和NutchDistributedFileSystem（NDFS）分别被剥离出来，成为一套完整独立的软件，Hadoop项目正式启动以支持MapReduce和HadoopDistributedFileSystem（HDFS）的独立发展。2008年1月，Hadoop成为Apache顶级项目。2008年4月，Hadoop成为最快排序1TB数据的系统。2008年6月，Hive成为了Hadoop的子项目。2009年7月，MapReduce和HDFS成为Hadoop项目的独立子项目。2010年5月，HBase成为Apache顶级项目。2010年9月，Hive和Pig成为Apache顶级项目。2.1.1起源

2.1Hadoop概述2011年1月，ZooKeeper成为Apache顶级项目。2011年12月，Hadoop1.0.0版发布，标志着Hadoop已经初具生产规模。2013年10月，Hadoop2.0.0版发布，标志着Hadoop正式进入MapReduceV2.0时代。2017年12月，继Hadoop3.0.0的四个Alpha版本和一个Beta版本后，第一个可用的Hadoop3.0.0版本发布。DougCutting被人们称为Hadoop之父，他曾这样描述过这个名字：“这是我的孩子给他的黄色毛绒小象玩具起的名字。简短易于读写，没有具体意义且没有被别人使用过，这就是我对于项目命名的原则。”2.1.1起源

2.1Hadoop概述由于Hadoop在大数据处理方面的突出表现，许多公司都推出了自己的Hadoop商业版本，以提供更为专业的技术支持。目前Hadoop的发行版本除了Apache的开源版本外，还有Intel发行版、Cloudera发行版及Hortonworks发行版等多种版本。ApacheHadoop版本是最基础的Hadoop版本，适合于初学者。ClouderaHadoop是Cloudera公司提供的Hadoop解决方案，常用于大型互联网企业。HortonworksHdoop是Hortonworks公司的代表产品，是一个企业级的Hadoop发行版，配备了较为完善的支撑文档。2.1.2Hadoop发行版本

2.1Hadoop概述1.ApacheHadoopApacheHadoop也称为Apache社区版本，具备开源免费、社区活跃及资料翔实等优点。ApacheHadoop的官方地址为：，下载地址：/dist/hadoop/common/。2.HortonworksHadoopHortonworksHadoop是Hortonworks公司发行和维护的Hadoop版本。该公司主打产品是HortonworksDataPlatform，包含了ApacheHadoop的所有关键组件，提供了直观的用户界面安装配置工具，在管理工具和集群部署方面有独特优势。2.1.2Hadoop发行版本

2.1Hadoop概述HortonworksHadoop的官方地址为，下载地址为https://cn./downloads.html3.ClouderaHadoopClouderaHadoop基于Ap