- 1、本文档共14页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Eclipse3.3_(windows7)连接远程hadoop
Eclipse3.3 (windows7)连接远程hadoop(RedHat.Enterprise.Linux.5)
一、hadoop集群安装
机器名 IP 作用 NameNode NameNode、master、jobTracker DataNode1 DataNode、slave、taskTracker DataNode2 DataNode、slave、taskTracker 机器满足1G 内存,2G 更好。Linux5 安装后,可不启动图形界面,节约内存。
安装步骤:
1、安装RedHat.Enterprise.Linux.5
用介质安装linux,安装完后修改机器名:$ hostname 机器名。
在/etc/hosts 中添加机器名和相应的IP:
localhost
NameNode
DataNode1
DataNode2
修改/etc/inittab文件:
id:5:initdefault: 改为id:3:initdefault:
重新启动OS就不会进入图形界面了
#service sshd start
可以在windows 下用SSH Secure Shell Client来测试一下。
3、关闭防火墙(所有机器)
# chkconfig --levels 2345 iptables off
注意:这步非常重要。如果不关闭,会出现找不到datanode 问题。
4、建立ssh 无密码登录
(1)在NameNode 上实现无密码登录本机:
$ ssh-keygen -t rsa
直接回车,完成后会在~/.ssh/生成两个文件:id_rsa 和id_rsa.pub。
$ ssh-keygen -t dsa
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。
$cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 将生成的密钥串在钥匙链上
$cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 将生成的密钥串在钥匙链上
$ chmod 600 ~/.ssh/authorized_keys。
(2)实现NameNode 无密码登录其他DataNode:
把NameNode 上的authorized_keys 文件追加到dataNode 的authorized_keys 内( 以
节点为例):
a. 拷贝NameNode 的authorized_keys 文件:
$ scp authorized_keys mark@:/home/mark/
b. 登录,执行$ cat authorized_keys ~/.ssh/authorized_keys
其他的dataNode 执行同样的操作。
注意:如果配置完毕,如果namenode 依然不能访问datanode,可以修改datanode 的
authorized_keys的读写权限(很重要!):
$ chmod 600 ~/.ssh/authorized_keys。
5、安装jdk1.6
下载地址:/javase/downloads/widget/jdk6.jsp,下载后,直接安装。本例的安装路径为/usr/java/jdk1.6.0_31。
安装后,添加如下语句到/etc/profile 中:
export JAVA_HOME==/usr/java/jdk1.6.0_31
export JRE_HOME==/usr/java/jdk1.6.0_31 /jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
注意:每台机器的java 环境最好一致。安装过程中如有中断,切换为root 权限来安装。
6、安装hadoop
下载hadoop-0.20.2.tar.gz
解压:$ tar –zvxf hadoop-0.20.2.tar.gz
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/mark/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
7、配置hadoop
hadoop 的主要配置都在hadoop-0.20.2/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ gedit
您可能关注的文档
- 标准日本语,第一单元习题 第一単元(1~4课).doc
- 14.远程管理.doc
- [[高三英语课件]]2009高三英语《语法专题复习--简单句》PPT课件.ppt
- 七年级历史上(1-10课)测试题.doc
- Hadoop实验手册.doc
- SVN主从服务(SVNSYNC镜像模式)设置说明.docx
- 新《准则》《条例》测试题1.docx
- 伪分布搭建详细记录.docx
- 安装:10gR2.RAC.on.AIX6.1.Using.ASM.doc
- 安装调试hpc手册.doc
- 大学生职业规划大赛《新闻学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《应用统计学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《中医学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《信息管理与信息系统专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《汽车服务工程专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《水产养殖学专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《市场营销专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐表演专业》生涯发展展示PPT.pptx
- 大学生职业规划大赛《音乐学专业》生涯发展展示PPT.pptx
文档评论(0)