hadoop集群配置范例及问题总结.doc

HADOOP-0.20.203.003.0分布式集群配置 硬件环境 虚拟机VMWare Workstation两台机器均安装ubuntu11 java jdk1.6.0_31 namenode：192.168.1.100 namenode datanode：192.168.1.101 datanode 注意： 三台机器dns 和 默认网关必须一致。登陆密码一致最好。而且务必三台机器互相ping通主机，即主机名和ip解析正确。若ping不通，修改/etc/hosts文件，使用sudo vi /etc/hosts命令，设置如下（namenode）： namenode datanode Datanode（datanode）的设置为： 192.168.1.100 namenode 192.168.1.101 datanode 本集群将namenode和 jobtracker 设置成一台机器 即namenode。 在Hadoop中，主机名不要包含下划线“_”，但可以有横线“-”。否则启动hadoop时报错：ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI, no host: hdfs://namenode:9000 Incomplete HDFS URI 使用hostname命令查看主机名，修改主机名： 主机名存放在/etc/hostname文件中，编辑hostname文件，在文件中输入新的主机名并保存该文件即可。注销重新登录。 本集群在Root用户下安装 配置ssh 安装ssh：sudo apt-get install openssh-server openssh-client 开启命令：service ssh restart。必须配置SSH使用无密码公钥来进行免密码登陆各个节点。本集群设置如下： 在namenode节点上根目录下执行： [root@namenode root]$ssh-keygen –tsa 一路回车，遇到y/n 选择y。即在默认目录下/root/.ssh/生成 id_sa 和 id_sa.pub 2个文件，第一个为私钥，第二个为公钥。 [root@namenode root]$cd .ssh 进入.ssh目录下，将id_sa.pub 复制给authorized_keys文件,并给予权限。 [root@namenode root]$cp id_sa.pub authorized_keys [root@namenode root]$chmod 644 authorized_keys 测试 ssh localhost 和ssh namenode 在datanode上根目录下 建立 .ssh文件夹 并给予权限 [root@datanode root]$mkdir .ssh [root@datanode root]$chmod 755 .ssh [root@datanode root]$cd .ssh 然后将namenode中的公钥远程复制给datanode需要密码 [root@namenode .ssh]$scp authorized_keys root@namenode:/root/.ssh 并且进入datanode给予权限： [root@datanode .ssh]$chmod 644 authorized_keys 下面可以通过SSH命令试试是否可以无密码登陆。最好先重新启动下命令： [root@namenode root]$service sshd restart [root@namenode root]$ssh datanode 如果可以无密码登陆，即成功！ 各datanode免密码登陆namenode 将各个datanode上的id_rsa.pub追加到namenode的authorized_keys 在所有datanode上依次执行如下命令: scp id_rsa.pub namenode:/root/.ssh/datanode.id_rsa.pub ssh namenode 如果可以无密码登陆，即成功！ Ssh主机名时，错误：Agent admitted failure to sign using the key. 解決办法： 应用 ssh-add 指令將私钥加进来ssh-add .ssh/id_rsa 出现ssh localhost死活都无法免密码登陆，检查各级目录文件的权限，注意root目录权限 chmod 755 . (或者更严格) chmod 7 .ssh chm