hadoop安装指南(非常详细,包成功).docx

安装HADOOP集群服务器规划功能HOSTNAMEIP说明MasterHDM01Namenode 兼datanode SlaveHDS02Datanode SlaveHDS03Datanode ClientHDC04HADOOP客户端(HDFS/HIVE)环境系统环境安装 centOS6.2 = 软件工作站（software Development Workstation）Hadoop安装安装和配置SSH 、RSYNC( Root用户)安装 SSH和rsync 一般系统自带了；创建Hadoop运行用户( Root用户)一般我们不会经常使用root用户运行hadoop，所以要创建一个平常运行和管理Hadoop的用户；创建hadoop用户和用户组 useradd hadoopPS:master和slave节点机都要创建相同的用户和用户组，即在所有集群服务器上都要建hadoop用户和用户组。 关闭防火墙( Root用户)在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭。所以对集群所有服务器关闭防火墙：chkconfig iptables off 查看防火墙状态：service iptables status 永久关闭防火墙：chkconfig iptables off 查看防火墙状态：chkconfig --list iptables 配置机器名和网络( Root用户) 配置HOSTNAME vi /etc/sysconfig/network，修改：HOSTNAME=hmaster 其他节点依次改为slave1，slave2…….不过必须和上面一致 验证; 输入命令 hostname 配置网络IP cd /etc/sysconfig/network-scripts vi ifcfg-eth0（因为硬件不同，其中的“eth0”可能是其他名称） 配置IP和HOSTNAME映射关系vi /etc/hosts [root@NOAS ~]# more /etc/hosts# localhost localhost.localdomain localhost4 #localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 HDM01 HDS02 HDS03 HDC04配置非root用户免验证登录SSH（ hadoop用户）提示：Linux配置ssh是通过欺骗登录用户名的。所以上面创建用户的时候，我们都把3个节点的username都设置成hadoop，主要是用户名必须一致在hadoop用户的home目录，即 cd /home/hadoop 下执行命令 用hadoop用户登录（第 一/二/三步分别在每一个节点上都要执行）第一步：ssh-keygen -t rsa -P -f ~/.ssh/id_rsa 意思是读取 id_dsa文件默认 全部是yes安装和root用户一样，会发现多处2个文件，一个是公开密匙，一个是访问用户名字信息的第二步：cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys是把暴露出来的公共密匙按顺序导入authorized_keys中保存第三步：chmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keysssh机制很严谨，对文件的权限要求非常严格我们需要把.ssh文件夹的权限改为700 ，默认是777authorized_keys的权限这里是对的，600第四步：在主节点上执行下列命令ssh HDS02 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keysssh HDS03 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keysscp authorized_keys hadoop@HDS02:/home/hadoop/.ssh/scp authorized_keys mailto:hadoop@GZHDS03:/home/hadoop/.sshhadoop@HDS03:/home/hadoop/.ssh/最终authorized_keys文件要有各个集群服务器的信息第五步：验证第一次会要求输入密码，完成后测试，每台机都要求能联通：ssh HDM01ssh HDS02ssh HDS03不输入密码 就表示成功了；安装JDK( hadoop用户) 检查是否已安装JDK: rpm -qa|grep jdk 检查JAVA安装目录： whick java 检查是否配置JAVA_HOME