有哪些信誉好的足球投注网站- 1、本文档共20页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
Hadoop学习笔记（⼀）
⼀、初识Hadoop2.X
1.Hadoop发展和三⼤组件功能
⾕歌的三篇论⽂：
GFSHDFS
MapReduceMapReduce
BigTableHBase
四⼤组成部分：
*Common
⼯具，基础，为其他框架服务
*MapReduce
对海量数据的处理
分布式
分⽽治之
⼤数据集分为⼩的数据集
每个数据集，进⾏逻辑业务处理（map）
合并统计数据结果（reduce）
input–map–shuffle–reduce–output
*HDFS
存储海量数据
分布式
安全性
副本数据
数据时以block的⽅式进⾏存储的
128M
⽐如：
200MB
blk_00001：128MB
blk_00002：72MB
*YARN
分布式资源管理框架
管理整个集群的资源（内存、CPU核数）
分配调度集群的资源
2.分布式⽂件系统HDFS和分布式资源管理系统YARN
NameNode
*存储⽂件系统的元数据，命名空间namespace
*内存
*本地磁盘
*fsimage：镜像⽂件
*edites：编辑⽇志
DataNode
*存储数据
SecondaryNameNode
*辅助NameNode⼯作，合并fsimage和edites⽂件（定时周期性）
client提交任务给ResouceManager，ResouceManager会为每个应⽤⽣成⼀个应⽤的管理者：ApplicationMaster，应⽤的管理者到
ResouceManager进⾏任务的划分、资源的申请，ResouceManager会分配多个NodeManager分配给ApplicationMaster，然后
ApplicationMaster将任务发个多个NodeManager，NodeManager会为任务分配container，container包含了节点上的部分资源，进⾏任务隔
离，只准⽤这么多资源。
3.并⾏计算框架MapReduce思想及如何运⾏在YARN上
1：Client将任务提交给ResourceManager。
2：ResourceManager找到⼀个NodeManager节点，为应⽤创建应⽤的管理者MRAppMstr。
3：MRAppMstr向ResourceManager的ApplicationsManager进⾏注册。
4：MRAppMstr向ResourceManager的ResourceScheduler申请资源。
5：MRAppMstr找申请到的资源（多个NodeManager）并启动任务（Map任务或Reduce任务）。
6：①NodeManager在Container中启动任务。
②client可通过页⾯进⾏监控运⾏的任务。
7：MRAppMstr监控每个任务：每个任务都要给MRAppMstr进⾏反馈。
8：当程序运⾏结束，MRAppMstr要告诉ResourceManager的ApplicationsManager进⾏销毁。
4.hadoop⽣态圈
5.Hadoop2.x环境搭建准备
软件下载：
6.MapReduce在本地模式下运⾏（未配置hdfs）
查看官⽹⽂档：
执⾏命令：
hadoopjar打的jar包输⼊路径输出路径
使⽤hadoop⾃带的例⼦进⾏测试：
准备⼯作：在hadoop-env.sh添加jdk路径
例1：grep
将etc/hadoop下的所有xml⽂
文档评论（0）