Ubuntu_10.04下Hadoop0.20.2集群配置手冊.doc

Ubuntu_10.04下Hadoop-0.20.2集群配置手册 一、软硬件环境的准备 下面的文章来自，我先交待一下我自己的环境: 两台机器，每台机器上面两个虚机(vmware 均以桥接方式，也就是说4个虚机都有各自独立的内网IP)都是ubuntu10.04，宿主机都是windowsxp，用SecureCRT（严重推荐，好使）连接各个副机。最后按下文配置，成功运行~另：机器之间的文件用SCP命令吧，好使~~~ //////////////////////////////////////////////////////////////////////////////// 集群包含三个节点：1个namenode，3个datanode，节点之间局域网连接，可以相互ping通。操作系统ubuntu 10.04节点IP地址分布如下： hadoop-namenode: hadoop-datanode1: hadoop-datanode2: hadoop-datanode3: 修改/etc/hosts文件如下： 32 ?hadoop-namenode ? ?hadoop-datanode1 23 ?hadoop-datanode2 79 ?hadoop-datanode3 把namenode上面的hosts文件覆盖所有datanode上面的hosts，是他们内容一致。 安装JDK环境： 下载JDK安装包jdk-6u20-linux-i586.bin，进行安装，然后把安装目录移到/usr/lib/ jdk1.6.0_20, 然后ln –s /usr/lib/jdk1.6.0_20/bin/java /usr/bin/java 在/etc/profile下面设置JDK_HOME变量 export?JDK_HOME=/usr/lib/jdk1.6.0_20 JDK环境的操作需要在所有的namenode和datanode上面进行操作。 SSH无密码验证配置 Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，(datanode向namenode传递心跳信息可能也是使用SSH协议，这是我认为的，还没有做深入了解)。许多教程上介绍Hadoop集群配置时只说明了namenode上SSH无密码登录所有datanode，我在配置时发现必须使datanode上也能SSH无密码登录到namenode，Hadoop集群才能正常启动(也许这不是必须的，只是我的一个失误，但是这样能够正常启动Hadoop集群)。 *配置Namenode无密码登录所有Datanode (0)原理 Namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给node收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。 (1)所有机器上生成密码对 所有节点上执行以下命令: root@hadoop-namenode# ssh-keygen 然后一路回车就可以了。 这将在/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。 把namenode节点上面的id_rsa.pub?复制到所有datanode节点/root/.ssh/位置。 （注意：原文没有细说，这是指把id_rsa.pub先拷贝成authorized_keys，再将authorized_keys复制到其它datanode上的） root@hadoop-namenode# cp id_rsa.pub authorized_keys namenode的公钥 root@hadoop-namenode# chmod 644 authorized_keys 使用SSH协议将namenode的公钥信息authorized_keys复制到所有DataNode的.ssh目录下(.ssh下最初没有authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。 root@hadoop-namenode# scp authorized_keys data节点ip地址:/root/.ssh 这样配置过后，namenode可以无密码登录所有datanode，可以通过命令