51CTO下载-Linux RedHat5.4安装hadoop集群详细过程.doc

VMWareWorkstation中Linux RedHat5.4安装hadoop集群详细过程 整个Hadoop环境搭建过程用到了三台虚拟机：Red Hat 5.4、Red Hat 5.4-1、Red Hat 5.4-2，其IP地址设为固定IP（具体为虚拟机分配IP的过程下面详细说明）。其中Red Hat 5.4作为Hadoop的Namenode和Jobtracker。其他两台机器均作为Datanode和Tasktracker。 一、? ? 虚拟机的安装 这里不再详细描述。 二、? ? 虚拟机网络配置 将VMWare Workstation的Network connection设置为Bridged模式，如下图所示： 在网络配置中将VMnet8的ip配置为自动获取，如下图所示： 　　将Red Hat 5.4、Red Hat 5.4-1、Red Hat 5.4-1虚拟机的域名和地址分别设为：Master 、Slave1??、Slave2 ，以Master为例进行具体说明： 1、? ?? ?登录系统后在终端输入如下命令： [root@Master ~]# vi 　/etc/sysconfig/network 然后输入i编辑文件，将里面的HOSTNAME修改为Master，按Ctrl+c，输入:wq保存并退出，如下图所示： 然后执行service network restart就可以了 2、? ?? ?修改配置文件： [root@Master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 设置如下内容： 修改好后source??/etc/sysconfig/network-scripts/ifcfg-eth0，然后用ifconfig命令查看ip是不变成了。其他两台重复上面的步骤进行设置即可，然后相互ping下看能不能ping通（包括从主机ping虚拟机），能ping通后再用ssh工具连接虚拟机（应该能连接上）。 3、? ?? ?修改hosts文件： [root@Master ~]# vi /etc/hosts 修改后的内容如下图所示： 修改完成后：[root@Master ~]# source /etc/hosts 三台机器执行相同的操作，最后互相ping对方的域名，应该能够ping通，如下图所示： 三、? ? 安装和配置JDK 虚拟机安装配置好后准备在3台机器上分别安装JDK（我安装的是jdk-6u33-linux-i586.bin），具体安装步骤如下： 1、? ?? ?将文件通过ssh工具传到3台虚拟机上，这里不在详细介绍 2、? ?? ?在每台机器上执行如下命令： 进入jdk所在目录，修改文件为可执行： [root@Master usr]#chmod u+x jdk-6u33-linux-i586.bin 安装jdk： [root@Master usr]#./jdk-6u33-linux-i586.bin 3、? ?? ?在每台机器上配置环境变量： 输入如下命令： [root@Master usr]#vi /etc/profile ? ?? ?? ?? ???在文件中done后面添加如下图所示环境变量 　　　　修改完成后执行source /etc/profile，然后执行java –version，应该会出现下图所示内容： ? ?? ?? ?? ???上面的操作是每台虚拟机上都需要进行的。 四、? ? 新建用户并配置ssh无密码访问 1、新建用户：[root@Master??~]# useradd hadoop 2、修改密码：[root@Master ~]# passwd hadoop 在提示后面输入密码为hadoop，再次输入密码hadoop 3、切换到用户hadoop: [root@Master~]# su hadoop 4、输入：[hadoop@Master ~]$ ssh-keygen -t rsa，然后一直回车直到回到命令提示符状态 5、输入ls –a命令，看是否有.ssh这个文件夹，进入.ssh文件夹：[hadoop@Master ~]$ cd .ssh，然后输入ls，看是否存在id_rsa和id_rsa.pub这两个文件 在三台机器上执行以上5步操作。 6、将各机器上的id_rsa.pub文件拷贝到其他两台机器上去，以Master机器上的拷贝为例，执行以下操作即可： [hadoop@Master ~]$ scp./.ssh/id_rsa.pub hadoop@Slave2:id_rsa.pub 注意上面的操作是在hadoop用户的根目录下操作的，将Master机器上的hadoop用户下的.ssh文件夹下的id_rsa.pub文件拷贝到Slave2机器上hadoo