Hadoop集群分布式安装配置.pdf

Hadoop 集群分布式安装与配置 步骤一：创建 hadoop 用户，并为 hadoop 用户授权 （1） 如果安装 Ubuntu 的时候不是用的 “hadoop”用户，那么需要增加 一个名为 hadoop 的用户。执行下列名列查看 hadoop用户是否存在。 $cat /etc/passwd |grep hadoop （2 ） 如果 hadoop用户不存在则创建 hadoop用户，则继续执行 （3），如果 hadoop用户存在则执行步骤（ 4）。 （3 ） 创建用户 hadoop，并设置密码为 hadoop （密码不回显）。 $sudo useradd m‐hadoop s‐/bin/bash p‐ （4 ） 为 hadoop用户授予 sudo权限。 $sudo adduser hadoop sudo （5 ） 重启计算机，以 hadoop用户登录。 $reboot 步骤二：修改集群节点名称，添加域名映射。 （1） 设置集群中各个节点的名称。 将每个节点名称写入本节点的 /etc/hostname文件中。 $sudo gedit /etc/hostname （2 ） 将集群中所有节点的 IP 地址与主机名写入所有节点的 /etc/hosts 中 （当前主机的 IP 地址可以通过执行 ifconfig 命令查看），完成域名映射的添加。 $sudo gedit /etc/host 例如： 0 master 1 slave1 2 slave2 （3 ） 重新启动计算机。 $reboot 步骤三： SSH登录权限设置 （1）在集群的所有节点上安装 SSH。 $ps ‐e|grep ssh $sudo apt get‐ update $sudo apt get‐ install openssh server‐ （2 ）在所有集群所有节点上生成公钥和私钥。 ssh ‐keygen –trsa 在~/ 目录下自动创建目录 .ssh，内部创建 id_rsa（私钥）和 id_rsa.pub（公钥）。 （3 ）将所有节点的公钥发送给集群中所有计算机，包括发送给自身。 $cd ~/.ssh $ssh-copy-id -i id_rsa.pub hadoop@*** 注意：分别用集群中各个节点名称（包括自身）分别替换 *** 。 例如，在集群的每台计算机上执行下列操作： $cd ~/.ssh $ssh-copy-id -i id_rsa.pub hadoop@master $ssh-copy-id -i id_rsa.pub hadoop@slave1 $ssh-copy-id -i id_rsa.pub hadoop@slave2 （4 ）测试 SSH 免密码登录。 $ssh hadoop@*** 测试成功后，可以执行 exit 命令结束远程登录。 步骤四：安装 Java环境 （1） 在集群的每个节点的 /usr/lib 中创建 jvm 目录，并将目录所有者修改 为 hadoop用户。 $sudo mkdir /usr/lib/jvm/ $sudo chown –Rhadoop:hadoop /usr/lib/jvm （2 ） 使 用 tar 命 令 解 压 安 装 jdk-8u121-linux-x64.tar