hadoop小型机群配置.doc

HADOOP-0.20.2分布式集群配置 本文以安装和使用hadoop-0.20.2为例。 硬件环境 虚拟机VMWare Workstation 6.5.2build 三台机器均安装redhat linux9.0 java jdk1.6.0_24 namenode：192.168.1.100 hadoop1 datanode：192.168.1.101 hadoop2 datanode：192.168.1.102 hadoop3 注意： 三台机器dns 和 默认网关必须一致。登陆密码一致最好。而且务必三台机器互相ping通主机，即主机名和ip解析正确。若ping不通，修改/etc/hosts文件，使用sudo vi /etc/hosts命令，设置如下（namenode）： hadoop1 hadoop2 hadoop3 Hadoop2（datanode）的设置为： 192.168.1.100 hadoop1 192.168.1.101 hadoop2 Hadoop3（datanode）的设置为： 192.168.1.100 hadoop1 192.168.1.102 hadoop3. 本集群将namenode和 jobtracker 设置成一台机器 即hadoop1。 配置ssh Redhat linux9 自带ssh。开启命令：service sshd restart。必须配置SSH使用无密码公钥来进行免密码登陆各个节点。本集群设置如下： 在namenode节点 即hadoop1上根目录下执行： [root@hadoop1 root]$ssh-keygen –t dsa 一路回车，遇到y/n 选择y。即在默认目录下/root/.ssh/生成 id_dsa 和 id_dsa.pub 2个文件，第一个为私钥，第二个为公钥。 [root@hadoop1 root]$cd .ssh 进入.ssh目录下，将id_dsa.pub 复制给authorized_keys文件,并给予权限。 [root@hadoop1 root]$cp id_dsa.pub authorized_keys [root@hadoop1 root]$chmod 644 authorized_keys 在hadoop2 和 hadoop3 上根目录下 建立 .ssh文件夹 并给予权限 [root@hadoop2 root]$mkdir .ssh [root@hadoop2 root]$chmod 755 .ssh [root@hadoop2 root]$cd .ssh 然后将hadoop1中的公钥远程复制给hadoop2和hadoop3，需要密码 [root@hadoop1 .ssh]$scp authorized_keys hadoop2@192.168.1.101:/root/.ssh 并且进入hadoop2和hadoop3给予权限： [root@hadoop2 .ssh]$chmod 644 authorized_keys 下一步进入/etc/ssh/sshd_config文件进行配置： [root@hadoop1 root]$sudo vi /etc/ssh/sshd_config 将文件中的“#”号去掉如下： PasswordAuthentication no AuthorizedKeysFile .ssh/authorized_keys 三台机器都要如上配置！ 下面可以通过SSH命令试试是否可以无密码登陆。最好先重新启动下命令： [root@hadoop1 root]$service sshd restart [root@hadoop1 root]$ssh hadoop2 如果可以无密码登陆，即成功！ JDK安装 本集群安装jdk1.6.0_24版本,直接放置在root下。以下的配置 三台电脑均相同。 通过windows中的SSH secure shell 软件 将jdk-6u24-linux-rpm.bin安装包传送到三台机器。 通过授权、安装命令安装jdk [root@hadoop1 root]$chmod +x jdk-6u24-linux-rpm.bin [root@hadoop1 root]$./jdk-6u24-linux-rpm.bin 等待一段时间，提示回车的时候，按下回车，一会自动打开jdk的网页介绍。 3. 配置jdk文件，在/etc/profile 中配置 环境变量 如下： export JAVA_HOME=”/usr/java/jdk1.6.0_24” export