Hadoop学习笔记（一）_原创精品文档.pdfVIP

Hadoop学习笔记（⼀）

⼀、初识Hadoop2.X

1.Hadoop发展和三⼤组件功能

⾕歌的三篇论⽂：

GFSHDFS

MapReduceMapReduce

BigTableHBase

四⼤组成部分：

*Common

⼯具，基础，为其他框架服务

*MapReduce

对海量数据的处理

分布式

分⽽治之

⼤数据集分为⼩的数据集

每个数据集，进⾏逻辑业务处理（map）

合并统计数据结果（reduce）

input–map–shuffle–reduce–output

*HDFS

存储海量数据

分布式

安全性

副本数据

数据时以block的⽅式进⾏存储的

128M

⽐如：

200MB

blk_00001：128MB

blk_00002：72MB

*YARN

分布式资源管理框架

管理整个集群的资源（内存、CPU核数）

分配调度集群的资源

2.分布式⽂件系统HDFS和分布式资源管理系统YARN

NameNode

*存储⽂件系统的元数据，命名空间namespace

*内存

*本地磁盘

*fsimage：镜像⽂件

*edites：编辑⽇志

DataNode

*存储数据

SecondaryNameNode

*辅助NameNode⼯作，合并fsimage和edites⽂件（定时周期性）

client提交任务给ResouceManager，ResouceManager会为每个应⽤⽣成⼀个应⽤的管理者：ApplicationMaster，应⽤的管理者到

ResouceManager进⾏任务的划分、资源的申请，ResouceManager会分配多个NodeManager分配给ApplicationMaster，然后

ApplicationMaster将任务发个多个NodeManager，NodeManager会为任务分配container，container包含了节点上的部分资源，进⾏任务隔

离，只准⽤这么多资源。

3.并⾏计算框架MapReduce思想及如何运⾏在YARN上

1：Client将任务提交给ResourceManager。

2：ResourceManager找到⼀个NodeManager节点，为应⽤创建应⽤的管理者MRAppMstr。

3：MRAppMstr向ResourceManager的ApplicationsManager进⾏注册。

4：MRAppMstr向ResourceManager的ResourceScheduler申请资源。

5：MRAppMstr找申请到的资源（多个NodeManager）并启动任务（Map任务或Reduce任务）。

6：①NodeManager在Container中启动任务。

②client可通过页⾯进⾏监控运⾏的任务。

7：MRAppMstr监控每个任务：每个任务都要给MRAppMstr进⾏反馈。

8：当程序运⾏结束，MRAppMstr要告诉ResourceManager的ApplicationsManager进⾏销毁。

4.hadoop⽣态圈

5.Hadoop2.x环境搭建准备

软件下载：

6.MapReduce在本地模式下运⾏（未配置hdfs）

查看官⽹⽂档：

执⾏命令：

hadoopjar打的jar包输⼊路径输出路径

使⽤hadoop⾃带的例⼦进⾏测试：

准备⼯作：在hadoop-env.sh添加jdk路径

例1：grep

将etc/hadoop下的所有xml⽂