hadoop的安装步骤及配置.docx

hadoop的安装步骤及配置 一、 实现linux的ssh无密码验证配置 （1）配置理由和原理 Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，(datanode向namenode传递心跳信息可能也是使用SSH协议，这是我认为的，还没有做深入了解)。大概意思是，namenode 和datanode之间发命令是靠ssh来发的，发命令肯定是在运行的时候发，发的时候肯定不希望发一次就弹出个框说：有一台机器连接我，让他连吗。所以就要求后台namenode和datanode无障碍的进行通信。 以namenode到datanode为例子：namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给node收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。（2）具体操作 生成密钥的方法，是操作在namenode上的，在linux上输入 ssh-keygen -t rsa 一直回车，可以生成密钥。我们办公室的namenode上已经有了生成好的密钥，所以不用生成。只需将namenode上的密钥copy下来，复制到需要装hadoop的电脑上即可。1、在namenode上找到 /root/.ssh 文件，会看到两个文件 id_rsa.pub，id_rsa。 然后执行 cp id_rsa.pub authorized_keys 然后 ssh localhost 验证是否成功，第一次要你输入yes，以后就不需要了。(这是自我验证，把id_rsa.pub 文件拷贝到authorized_keys,然后自我检验，自己连自己看看能否成功) 2、拷贝密钥 方法一：你可以使用WinSCP软件，将authorized_keys文件复制到datanode的 /root/.ssh 文件里。 方法二：你可以在linux上输入 [root@namenode1 ~]# cd /root/.ssh [root@namenode1 .ssh]# ls authorized_keys id_rsa id_rsa.pub known_hosts [root@namenode1 .ssh]# sz authorized_keys(将文件下载到你电脑) 然后在你要装datanode上输入 [root@datanode1_3 ~]# cd /root/.ssh [root@datanode1_3 .ssh]# rz（选择文件上传到datanode的对应文件上） 将authorized_keys 传到datanode的 /root/.ssh 上。 方法三：输入命令行： [root@namenode1 .ssh] #scp authorized_keys 09(datanode的IP):/root/.ssh 这是拷贝命令，将namenode上的authorized_keys 拷贝到datanode的/root/,ssh 上。 （3）验证配置成功的方法 在namenode上输入：ssh datanode的IP地址(或者在hosts文件配置好后，也可以 使用datanode的机器名) 第一次连接时，会出现一个问题，输入yes，就可以连到datanode的机子上了，无需密码。 root@namenode1 ~]# ssh datanode1_2 The authenticity of host datanode1_2 (17) cant be established.RSAkeyfingerprintis2b:3b:84:66:fb:bd:b1:a7:77:ae:49:77:52:a8:53:7d.Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added datanode2 (RSA) to the list of known hosts. Last login: Wed Apr 25 15:57:15 2012 [root@datanode1_2 ~]# 我们可以看到我们已经转到了datanode上了。注意：