基于VMware Workstation8的2节点hadoop配置.doc

1 REDHAT5.4操作系统安装 操作系统测试使用的是redhat5.4服务器版，安装过程按照一般过程，选择图形化，选择必须的管理工具，选择系统开发包和开发库。安装两台，或者安装一台克隆一台，将新克隆的一台修改主机名，修改网卡配置文件，其中新克隆机器的MAC地址修改成 ifconfig命令列出的MAC地址。暂时关闭iptables防火墙，关闭selinux。其系统主机名与ip地址分配如下： hadoop1 eth0： 00/24 gw： namenode hadoop2 eth0： 01/24 gw： datanode 2 安装jdk 2.1 JDK版本选择 采用的jdk版本是jdk 1.6update30,可到oracle网站下载/technetwork/java/javase/downloads/index.html 2.2 安装步骤 下载必威体育精装版的J2SE jdk-6u30-linux-i586.bin b.将JDK安装文件 jdk-6u30-linux-i586.bin拷贝到Redhat任意目录下.例如:/opt/. c.执行＃chmod +x jdk-6u30-linux-i586.bin,为dk-6u30-linux-i586.bin添加可执行权限 d.执行./ jdk-6u30-linux-i586.bin,此时会出现JDK安装授权协议.可以一路按Enter浏览.如果等的不耐烦可以直接按Ctrl+C,直接会出现Do you agree to the above license terms? [yes or no]的字样. e.键入yes,同意该授权协议.此时系统会开始解压 jdk-6u30-linux-i586.bin f.解压完毕后,ls.会发现多出了一个解压好的jdk6.0.0_30,即问jdk安装目录。 2.3 设置环境变量 进入/etc文件夹,找到文件profile并打开#vi /etc/profile b.在/etc/profile最后语句的上面添加以下语句:JAVA_HOME=/opt/jdk1.6.0_30PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME PATH CLASSPATH[注意:=两侧不能有空格] c.设置完毕后,保存文件.重启Redhat后登录控制终端,键入:java -version;如果出现java version 0等字样,说明您的JDK已经安装成功. 3 一些相关的设置 3.1 用户设置 分别在安装好的两个系统上创建用户hadoop，保证用户的id与gid相同。[root@hadoop1 ~]# useradd hadoop //使用useradd username命令添加用户[root@hadoop1~]# passwd hadoop //使用passwd username命令为用户修改添加密码并解锁 3.2 配置/etc/hosts文件 分别配置hadoop1和hadoop2的/etc/hosts文件，注释前两行（若不注释，会报找不到活动节点错误），添加： 00 hadoop1 01 hadoop2 4 ssh配置 4.1 OpenSSH的安装 RedHat5.4本身自带了OpenSSH，可以使用命令 [root@hadoop1~]# rpm -qa | grep openssh 查询系统是否安装了OpenSSH。如果未安装可以到OpenSSH的主页下载rpm包自行安装。主要的包为：openssh- 4.3p2-16.e15.i386、openssh-server-4.3p2-16.e15.i386、openssh-clients-4.3p2-16.e15.i386和 openssh-askpass-4.3p2-16.e15.i386. 安装完成后，使用命令 [root@hadoop1~]# service sshd start 启动ssh。 也可以使用netstat -nutap |grep sshd; ps -ef |grep sshd 查看进程和端口号是否正常安装完成过后就可以使用命令 ssh hadoop[12]进行测试。 4.2 OpenSSH的设置 为了避免ssh、scp或sftp在每次连接远程主机时输入密码的步骤，可以生成一对授权密钥，为每个用户生成密钥。为ssh协议版本2生成RSA和DSA密钥对的设置如下：分别在两台主机上运行如下命令，得到rsa和dsa密钥对[hadoop@hadoop1~]$ ssh-keygen -t rsa -P //生成