Hadoop大数据开发基础（第2版）全套PPT课件.pptx

Hadoop介绍

第1章Hadoop介绍.pptx

第2章Hadoop集群的搭建及配置.pptx

第3章Hadoop基础操作.pptx

第4章MapReduce编程入门.pptx

第5章MapReduce进阶编程.pptx

第6章Hive数据仓库.pptx

第7章HBase分布式数据库.pptx

第8章项目案例：电影网站用户影评分析.pptx

大数据时代下，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使

用的主流技术之一。在大数据时代，Hadoop作为处理大数据的分布式存储和计算框架，在国内外大、中、小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。

本章将主要介绍Hadoop分布式框架的理论知识。

·首先介绍Hadoop框架及其发展历史、特点，并重点讲解Hadoop的3大核心组件HDFS、YARN和MapReduce。

·接着对Hadoop生态系统中的组件进行简单的介绍，包括组件的特点和应用。

·最后简要介绍Hadoop的应用场景。

官网：电话：189-2756-5259

任务背景

2

目录

1认识Hadoop框架

2了解Hadoop核心组件

3了解Hadoop生态系统

4了解Hadoop应用场景

官网：电话：189-2756-52593

在使用Hadoop的核心组件之前，首先需要对Hadoop框架的理论知识有一定的了解。

本小节的任务是了解Hadoop框架及其发展历史、特点，带领读者走进Hadoop。

官网：电话：189-2756-5259

任务描述

4

的分布式系统基础架构或框架。

官网：电话：189-2756-5259

什么是Hadoop

5

●可扩展、高容错、高性能的分布式文件系统

●负责数据的分布式存储和备份

●Map(映射)

●Reduce(规约)

Hadoop

分布式文件

系统

HDFS

分布式计算框架

MapReduce

Hadoop框架核心

什么是Hadoop

官网：电话：189-2756-5259

6

20112014

Hortonwork2013Hadoop2.x

ers公司成立快速发展

Hortonworkers

公司完全开源

开发人员在100个

亚马逊的虚拟机服

务器上使用

Hadoop转换处理

了4TB的图片数据

了解Hadoop发展历史

道格·卡廷和其他开发者们开始研究NDFS和MapReduce

推出YARN框架的

第一个版本

2012

官网：电话：189-2756-5259

2009

道格·卡廷加入Cloudera公司

Hadoop及其生态圈组件得到广泛的应用

2020

Hadoop3.1.4

发布

谷歌公司发表了GFS和MapReduce论文

Hadoop3.x

发布

道格卡廷加入雅虎公司

20162017

2007

2003

2006

7

高可靠性高扩展性高效性

可构建在

廉价机器上

了解Hadoop的特点

官网：电话：189-2756-5259

低成本

8

目录

1认识Hadoop框架

2了解Hadoop核心组件

3了解Hadoop生态系统

4了解Hadoop应用场景

官网：电话：189-2756-52599

Hadoop有3大核心组件，分别是分布式文件系统HDFS、分布式计算框架MapReduce和集群