Hadoop安装部署手册.doc

安装环境介绍 软件环境 CentOS6.5 x64 Jdk 1.7 x64 Hadoop 2.6.2 x64 Hbase-0.98.9 Zookeeper-3.4.6 集群环境 集群中包括3个节点：1个Master，2个Slave 机器名称 IP地址 Hadoop ZooKeeper myid Hbase Master.Hadoop 50 NameNode server.1 1 HMaser Slave1.Hadoop? 51? DataNode server.2 2 HRegionServer Slave2.Hadoop? 52? DataNode server.3 3 HRegionServer 安装前的准备 下载JDK /technetwork/java/javase/downloads/index.html /otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.tar.gz 下载Hadoop /hadoop/common /hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz /hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz hadoop-2.6.0.tar.gz是发行包，但只有32位 hadoop-2.6.0-src.tar.gz是源码包，用于自己编译成64位版本 下载Zookeeper /zookeeper/ /zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 下载Hbase /hbase/ /hbase/hbase-0.98.9/hbase-0.98.9-hadoop2-bin.tar.gz 开始安装 CentOS安装配置 安装3台CentOS6.5 x64（使用Basic Server模式，其他使用默认配置，安装过程略） Master.Hadoop配置 配置网络 修改为： 保存，退出（esc+:wq+enter），使配置生效 配置主机名 修改为： 保存，退出（esc+:wq+enter），使配置生效 配置hosts 修改为： 关闭系统防火墙 禁止SELINUX 修改为： 调整系统文件限制 在最后增加如下内容 修改以下文件： 增加如下内容： 以上调整，需要重启系统才能生效 配置用户 新建hadoop用户和组，设置hadoop用户密码 无密码密钥对 切换到hadoop用户，生成密码对 生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。 把id_rsa.pub追加到授权的key里面去 修改.ssh目录的权限以及authorized_keys 的权限 用root用户登录服务器修改SSH配置文件/etc/ssh/sshd_config的下列内容 其中三行内容改为启用，如下所示 保存，退出（esc+:wq+enter），重新启动SSH服务，使设置生效 Slave1.Hadoop、Slave1.Hadoop配置 相同的方式配置Slave1和Slave2的IP地址，主机名和hosts文件，新建hadoop用户和组及用户密码等等操作 机器名称 IP地址 Slave1.Hadoop? 51? Slave2.Hadoop? 52? 无密码登陆配置 配置Master无密码登录所有Slave 使用hadoop用户登陆Master.Hadoop 把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥 在Slave机器上进行配置 测试Master到Slave的ssh登陆 配置Slave无密码登录Master 使用hadoop用户登陆Slave 把公钥复制Master机器上。使用下面的命令格式进行复制公钥 在Master机器上将公钥追加到authorized_keys中 测试Slave到Master的ssh登陆 安装JDK 所有的机器上都要安装JDK，先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以root的身份进行。 将jdk安装包jdk-7u71-linux-x64.tar.gz上传到服务器/usr/local/目录下 解压缩文件 配置环境变量 增加如下内容： 保存，退出（esc+:wq+enter），使配置生效 验证是否安装成功 删除jdk的安装包 在Slave上重复以上步骤，安装JDK（以下为从Master复制jdk到Slave） 安装Hadoop 因为官网没有64位版的haoop2.6.0发行包，需要手动由源代码编译（编译过程另附文件说明），编译后的文件为hadoop-2.6