- 1、本文档共18页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop 2.6.0分布式部署参考手册
Hadoop 2.6.0分布式部署参考手册
1.环境说明 2
1.1安装环境说明 2
2.2 Hadoop集群环境说明: 2
2.基础环境安装及配置 2
2.1 添加hadoop用户 2
2.2 JDK 1.7安装 2
2.3 SSH无密码登陆配置 3
2.4 修改hosts映射文件 3
3.Hadoop安装及配置 4
3.1 通用部分安装及配置 4
3.2 各节点配置 4
4.格式化/启动集群 4
4.1 格式化集群HDFS文件系统 4
4.2启动Hadoop集群 5
附录1 关键配置内容参考 5
1 core-site.xml 5
2 hdfs-site.xml 5
3 mapred-site.xml 6
4 yarn-site.xml 6
5 hadoop-env.sh 6
6 slaves 7
附录2 详细配置内容参考 7
1 core-site.xml 7
2 hdfs-site.xml 7
3 mapred-site.xml 8
4 yarn-site.xml 10
5 hadoop-env.sh 12
6 slaves 13
附录3 详细配置参数参考 13
? conf/core-site.xml 13
? conf/hdfs-site.xml 13
o Configurations for NameNode: 13
o Configurations for DataNode: 14
? conf/yarn-site.xml 14
o Configurations for ResourceManager and NodeManager: 14
o Configurations for ResourceManager: 14
o Configurations for NodeManager: 15
o Configurations for History Server (Needs to be moved elsewhere): 16
? conf/mapred-site.xml 17
o Configurations for MapReduce Applications: 17
o Configurations for MapReduce JobHistory Server: 17
1.环境说明
1.1安装环境说明
本列中,操作系统为Centos 7.0,JDK版本为Oracle HotSpot 1.7,Hadoop版本为Apache Hadoop 2.6.0,操作用户为hadoop。
2.2 Hadoop集群环境说明:
集群各节点信息参考如下:
主机名 IP地址 角色 ResourceManager ResourceManager MR JobHistory Server NameNode NameNode SecondaryNameNode SecondaryNameNode DataNode01 DataNode NodeManager DataNode02 DataNode NodeManager DataNode03 DataNode NodeManager DataNode04 DataNode NodeManager DataNode05 DataNode NodeManager
注:上述表中用””连接多个角色,如主机”ResourceManager”有两个角色,分别为ResourceManager和MR JobHistory Server。
2.基础环境安装及配置
2.1 添加hadoop用户
useradd hadoop
用户“hadoop”即为Hadoop集群的安装和使用用户。
2.2 JDK 1.7安装
? Centos 7自带的JDK版本为 OpenJDK 1.7,本例中需要将其更换为Oracle HotSpot 1.7版,本例中采用解压二进制包方式安装,安装目录为/opt/。
查看当前JDK rpm包
? rpm -qa | grep jdk
java-1.7.0-openjdk-1-.el7.x86_64
java-1.7.0-openjdk-headless-1-.el7.x86_64
删除自带JDK
? ? rpm -e --nodeps?java-1.7.0-openjdk-1-.el7.x86_64
? ? rpm -e --nodeps?java-1.7.0-openjdk-headless-1-.el7.x86_64
安装指定JDK
? ? ?进入安装包所在目录并解压
配置环境变量
编辑~/.bashrc或者/etc/profile,添加如下内容:
#JAVA
export JAVA_HOME=/opt/jdk1.7
e
您可能关注的文档
最近下载
- 户外露营的安全知识与技巧.pptx VIP
- 【2017年整理】千字文拼音版全文(整理).doc
- 新版部编人教版二年级下册道德与法治教学计划及全册教案.docx
- 小学英语大单元教学培训课件《聚焦学科核心素养 探究单元整体教学》.pptx
- (高清版)B/T 713.2-2023 承压设备用钢板和钢带 第2部分:规定温度性能的非合金钢和合金钢.pdf VIP
- 镇党委副书记“一岗双责”履职报告四篇.doc VIP
- 英语语言学及应用课件胡壮麟史上最全面.ppt
- 配电线路标准化施工工艺培训讲义课件.pptx VIP
- 高速公路服务人员文明礼貌服务用语培训内容.pptx VIP
- 汽车车身修复技术 教案 项目六 任务三 车门的拆装与调整.docx
文档评论(0)