- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop完全分布式配置(已配)
Hadoop完全分布式配置
环境:CentOs5、hadoop0.20.203、jdk1.6.0_29
namenode:centos1(ip:01)
datanode:centos2(ip:03)、centos3(ip:04)
配置步骤:
1)配置NameNode和DataNode
修改每台机器的/etc/hosts(包括namenode和datanode)
localhost.localdomain localhost01 centos103 centos204 centos3::1 localhost6.localdomain6 localhost6
(2)在所有的机器上建立相同的用户
useradd gridpasswd grid
成功建立grid用户后,输入用户密码就是该用户密码
(3)SSH设置
使用grid用户登录
在所有机器/home/grid下
mkdir .ssh
在namenode上生成密钥对
$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
注意点:
不进行以下步骤SSH免密码登录设置会不成功
.ssh目录要设成700 有执行权限authorized_keys要设成600 否则会出错还有ssh 登陆要加入用户名的 比如ssh root@localhost
这时从centos1向其他机器发起SSH连接,只有第一次登录时需要输入密码,以后则不需要(4)在所有机器上安装JDK
下载jdk-6u29-linux-i586.bin,安装到/usr/java下,cd到usr/java下
chmod u+x jdk-6u29-linux-i586.bin./jdk-6u29-linux-i586.bin
接下来要设置java的环境变量输入命令:
gedit /etc/profile在文件的最后添加以下语句:
JAVA_HOME=/usr/java/jdk1.6.0_29export JRE_HOME=/usr/java/jdk1.6.0_29/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存退出,然后执行source /etc/profile即可。
输入java -version 命令,出现如下信息就表示配置成功
java version 1.6.0_29Java(TM) SE Runtime Environment (build 1.6.0_29-b11)Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)
(5)在所有机器上安装配置Hadoop
首先在namenode上配置,配置后在分发到datanode上
在这里,下载hadoop-0.20.203.tar.gz,然后解压到/home/grid/下即可
tar -zxvf hadoop-0.20.203.tar.gz
接下来需要修改hadoop的conf文件夹下的配置信息:
修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:
export JAVA_HOME=/usr/java/jdk1.6.0_29
修改core-site.xml,如下:
configurationpropertyname/namevaluehdfs://centos1:9000/value/property/configuration
修改hdfs-site.xml,如下
configurationpropertynamedfs.replication/namevalue1/value/property/configuration
修改mapred-site.xml,如下:
configurationpropertynamemapred.job.tracker/namevalue01:9001/value/property/configuration
保险起见这里写centos1对应的IP地址
masters里写入作为namenode节点机器的IP
01
slaves里写入作为datanode节点的机器的IP
0304
到此,hadoop的有关配置已经完成,namenode端通过如下命令把配置好的hadoop发
您可能关注的文档
- 九年级英语Culture Shapes Us课件7.ppt
- 2015年高考地理选择题专项训练一(60道).doc
- 服务器静态资源的处理 unison+inotify双向同步.docx
- CDH离线部署总结.docx
- Hadoop安装部署手册.doc
- 中华文化概况 7.ppt
- ssh互信配置.doc
- 地理综合题(有选择题专项分析,有必修一的地球运动……咩 要顶的说).doc
- Jack Sparrow杰克船长.ppt
- 八年级英语上册_Unit_10_I_am_going_to_be_a_basketball_player._一课件人教版新目标.ppt
- 大学生职业规划大赛《新闻学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《应用统计学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《中医学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《信息管理与信息系统专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《汽车服务工程专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《水产养殖学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《市场营销专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐表演专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
文档评论(0)