hadoop完全分布式部署.docVIP

环境：CentOs5、hadoop0.20.203、jdk1.6.0_29 namenode:centos1(ip:01) datanode:centos2(ip:03)、centos3(ip:04) 配置步骤： （1）配置NameNode和DataNode 修改每台机器的/etc/hosts(包括namenode和datanode) localhost.localdomain localhost01 centos103 centos204 centos3::1 localhost6.localdomain6 localhost6 (2)在所有的机器上建立相同的用户 useradd gridpasswd grid 成功建立grid用户后，输入用户密码就是该用户密码 （3）SSH设置 使用grid用户登录 在所有机器/home/grid下 ? mkdir .ssh 在namenode上生成密钥对 ? $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 注意点： 不进行以下步骤SSH免密码登录设置会不成功 ? .ssh目录要设成700 有执行权限authorized_keys要设成600 否则会出错还有ssh 登陆要加入用户名的 比如ssh root@localhost 这时从centos1向其他机器发起SSH连接，只有第一次登录时需要输入密码，以后则（4）在所有机器上安装JDK 下载jdk-6u29-linux-i586.bin,安装到/usr/java下，cd到usr/java下 chmod u+x jdk-6u29-linux-i586.bin./jdk-6u29-linux-i586.bin 接下来要设置java的环境变量输入命令： ? gedit /etc/profile 在文件的最后添加以下语句： ? JAVA_HOME=/usr/java/jdk1.6.0_29export JRE_HOME=/usr/java/jdk1.6.0_29/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 保存退出，然后执行source /etc/profile即可。 输入java -version 命令，出现如下信息就表示配置成功 ? java version 1.6.0_29Java(TM) SE Runtime Environment (build 1.6.0_29-b11)Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode) (5)在所有机器上安装配置Hadoop 首先在namenode上配置，配置后在分发到datanode上 在这里，下载hadoop-0.20.203.tar.gz，然后解压到/home/grid/下即可 ? tar -zxvf hadoop-0.20.203.tar.gz 接下来需要修改hadoop的conf文件夹下的配置信息： 修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。： export JAVA_HOME=/usr/java/jdk1.6.0_29修改core-site.xml，如下： configurationpropertyname/namevaluehdfs://centos1:9000/value/property propertynamehadoop.tmp.dir/namevalue/home/grid/tmp/value/property/configuration ?注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。 修改hdfs-site.xml，如下 configurationpropertynamedfs.replication/namevalue1/value/property/configuration 修改mapred-site.xml，如下： configurati