CentOS6.2下Hadoop全分布式集成配置文档.docx

CentOS6.2下Hadoop全分布式集群配置文档文档更新记录编写人日期版本号变更内容审核人田文武2012/07/27V1.0新建集群网络环境介绍集群包含三个hadoop节点：1个namenode、2个datanode。节点之间局域网连接，可以互相ping通，并且配置了节点之间互相无密码ssh访问。节点IP地址如下：NameNode： 20 主机名：masterDataNode 1： 23 主机名：slaver1DataNode 2： 24 主机名：slaver2说明：105机器能ping通，但是ssh连接上去短暂的一段时间后自动断开，必须105用ssh访问其他网络之后，才能再次连接上。检查防火墙等各种原因之后未能解决。（望大家提供指导）三台机器系统均为CentOs6.2简体中文版。并且都新建了一个MDSS用户作为hadoop用户，其hadoop都安装在/home/MDSS/hadoop目录下。集群环境配置/SSH无密码验证配置配置主机名，以便ssh网络之间识别，在NameNode/02机器上作如下操作：在/etc/hosts文件中添加主机名和一下IP地址列表，以便ssh访问能识别主机名：同时，对datanode1/03机器上和datanode2/05机器上两台机器做如上操作。（区别：datanode1 HOSTNAME=slaver1 , datanode2 HOSTENAME=slaver2）SSH无密码验证配置生成密钥文件输入如图所示命令，便可以在~/.ssh/下生产id_rsa、id_rsa.pub两个密钥文件，其中id_rsa为私钥，id_rsa.pub为公钥。将公钥文件添加到~/.ssh/authorized_keys文件中将公钥文件远程复制到datanode1和datanode2上分别用MDSS登陆datanod1/slaver1和datanode2/slaver2机器上，将NameNode/master的公钥文件添加到~/.ssh/authorized_keys文件中对anthorized_keys文件夹执行授权命令chmod 600 .ssh/authorized_keys此时，在namenode/master机器上执行 service sshd restart命令重启ssh服务到此，NameNode/master的MDSS用户机器就可以无密码访问datanode1/slaver1和datanode2/slaver2的MDSS用户了若要datanode1/slaver1和datanode2/slaver2的MDSS用户也能无密码SSH访问namenode/master的MDSS用户，只需按照以上步骤做相反的操作就可以。JDK安装和JAVA环境变量配置JDK安装在所有机器上安装jdk1.7下载地址：/technetwork/java/javase/downloads/index.html/technetwork/java/javase/downloads/index.html我下载的是jdk-7u5-linux-i586.rpm，可以根据自己的机器操作系统和版本选择合适的最好还是先卸载掉openjdk,在安装sun公司的jdk先查看 rpm -qa | grep java显示如下信息：java-1.4.2-gcj-compat--40jpp.115java-1.6.0-openjdk--1.7.b09.el5卸载：rpm -e --nodeps java-1.4.2-gcj-compat--40jpp.115rpm -e --nodeps java-1.6.0-openjdk--1.7.b09.el5还有一些其他的命令rpm -qa | grep gcjrpm -qa | grep jdk如果出现找不到openjdk source的话，那么还可以这样卸载yum -y remove java java-1.4.2-gcj-compat--40jpp.115yum -y remove java java-1.6.0-openjdk--1.7.b09.el5安装下载到/opt目录下的jdk-7u5-linux-i586.rpm在所有机器上设置JAVA环境变量编辑/etc/profile文件在其末尾添加如下配置行：使配置文件生效source /etc/profile输入javac或者java -version验证jdk安装和JAVA环境是否配置成功出现如下图界面则配置成功Hadoop安装配置此次我安装的hadoop版本是hadoop-1.0.3下载地址：/apache/hadoop/core/hadoop-1.0.3//apache/hadoop/core/hadoop-1.0.3/下载并将hadoop-1.0.3