Hadoop的安装与配置.doc

Hadoop的安装与配置 建立一个三台电脑的群组，操作系统均为Ubuntu，三个主机名分别为wjs1、wjs2、wjs3。 1、环境准备： 所需要的软件及我使用的版本分别为：Hadoop版本为0.19.2，JDK版本为jdk-6u13-linux-i586.bin。 由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。所以在三台主机上都设置一个用户名为“wjs”的账户，主目录为/home/wjs。 配置三台机器的网络文件 分别在三台机器上执行：sudo gedit /etc/network/interfaces wjs1机器上执行：在文件尾添加： auto eth0 iface eth0 inet static address 192.168.137.2 gateway 192.168.137.1 netmask 255.255.255.0 wjs2和wjs3机器上分别执行：在文件尾添加： auto eth1 iface eth1 inet static address 192.168.137.3（wjs3上是address 192.168.137.4） gateway 192.168.137.1 netmask 255.255.255.0 b、重启网络：sudo /etc/init.d/networking restart 查看ip是否配置成功：ifconfig {注：为了便于“wjs”用户能够修改系统设置访问系统文件，最好把“wjs”用户设为sudoers（有root权限的用户），具体做法：用已有的sudoer登录系统，执行sudo visudo -f /etc/sudoers,并在此文件中添加以下一行：wjs ALL=(ALL)ALL,保存并退出。} c、修改三台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析，在/etc/hosts中添加： 192.168.137.2 wjs1 192.168.137.3 wjs2 192.168.137.4 wjs3 d、由于Hadoop需要通过ssh服务在各个节点之间登陆并运行服务，因此必须确保安装Hadoop的各个节点之间网络的畅通，网络畅通的标准是每台机器的主机名和IP地址能够被所有机器正确解析（包括它自己）。测试方法就是PING主机名。 主机名 IP地址 功能 wjs1 192.168.137.2 NameNode,JobTracker wjs2 192.168.137.3 DataNode,TaskTracker wjs3 192.168.137.4 DataNode,TaskTracker 安装JDK： 步骤1.根据自己机器的配置下载JDK，我下载的是jdk-6u13-linux-i586.bin； 步骤2.点击桌面“应用程序”--“附件”--“终端”，进入终端窗口； 步骤3.在主目录下新建子目录software—JDK，并将下载的jdk-6u13-linux-i586.bin拷贝到该目录下； 步骤4.转到/home/wjs/software/JDK目录下，开始安装jdk，在终端输入命令： #cd /home/wjs/software/JDK #./jdk-6u13-linux-i586.bin 安装程序将询问你是否尊守许可协议页面，回车、空格都可以，看完协议。 出现一行字：Do you aggree to the above license terms? [yes or no] 输入yes后，jdk被解压到usr/java/jdk1.6.0_13目录下。 步骤5.修改环境变量，设置PATH,JAVA_HOME,CLASSPATH,用gedit编辑器来修改profile文件，这个文件的修改会对所有的用户起作用。 #sudo gedit /etc/profile 在弹出的profile文件的末尾，umask 022之前加上以下设置的语句 export JAVA_HOME=/home/wjs/software/JDK/jdk1.6.0_13