hadoop的部署.doc

一、软件环境 Linux系统: redhat12 hadoop版本：hadoop-0.20.0（该版本为目前必威体育精装版版本为0.20.0） JDK版本：1.60(要求1.5以上版本) 二、硬件环境（完全分布式部署） 以五台机器构建一个cluster为例，其中以主机hadoop0作为命名节点，其它四台主机作为datanode： 1、IP配置 1.1 机器IP配置如下： Hadoop0:39 hadoop1:57 hadoop2:31 hadoop3:4 hadoop4:4 1.2 修改/etc/hosts文件（重要） 首先，要在没台机器的网络中配置好各自的主机名，dns。 修改/etc/hosts文件，以确保每台机器的主机名和IP地址之间能正确解析。 1.2.1Namenode机器配制 Namenode机器：需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名，本例中以主机hadoop主机作为命名结点，其它机器都是数据结点。 hadoop中的/etc/hosts文件修改如下： ??????? localhost??? localhost 39??? hadoop0????? hadoop0 57??? hadoop1???? hadoop1 31??? hadoop2???? hadoop2 4 hadoop3 hadoop3 4 hadoop4 hadoop4 注意：修改后执行命令：service network restart 1.2.2 Datanode机器配制 Datanode机器：修改/etc/hosts 文件同Namenode一样。 注意：修改后执行命令：service network restart 1.2.3 ping测试 测试：5台机器互相ping主机名，看是否可以ping通。 注意：如果ping不通请将防火墙关闭再尝试，检查一下网络，有时也需重启机器； 2、用户目录设置 2.1 用户目录结构设置 Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同用户名的帐户。所有机器用户名均设为hadoop，主目录为/home/hadoop。Hadoop部署完成后的目录结构如下：/home/hadoop/hadoop-0.20.0 3、SSH设置 3.1 SSH工作机理简要说明 在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。 以本文中的几台机器为例，现在hadoop是主节点，它需要主动发起SSH连接到hadoop1、hadoop2等机器，对于SSH服务来说，hadoop就是SSH客户端，而hadoop1、hadoop2等机器则是SSH服务端，因此在hadoop1，hadoop2等机器上需要确定sshd服务已经启动。简单的说，在hadoop上需要生成一个密钥对，即一个私钥，一个公钥。将公钥拷贝到hadoop1，hadoop2等机器上，这样，比如当hadoop向hadoop1发起ssh连接的时候，hadoop1上就会生成一个随机数并用hadoop的公钥对这个随机数进行加密，并发送给hadoop；hadoop收到这个加密的数以后用私钥进行解密，并将解密后的数发送回hadoop1，hadoop1确认解密的数无误后就允许hadoop进行连接了。这就完成了一次公钥认证过程。 3.2 SSH设置 SSH需要仔细设置，否则hadoop根本没法跑起来。 3.2.1生成密钥 对于本文中的几台机器，首先在hadoop0上生成密钥对： 代码清单1 [hadoop@hadoop0:~]mkdir .ssh [hadoop@hadoop0:~]chmod 755 .ssh [hadoop@hadoop0:~]$ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 2e:57:e2:bf:f