Hadoop实验集群搭建手册.docx

Hadoop实验集群搭建手册Ver.变更日期变更者说明12015/8/10王旭东初版目录1.目的：52.集群构成：52.1.集群构成图：52.2.集群构成明细：63.Hadoop安装前的准备：63.1.安装JDK63.2.修改/etc/hosts文件73.3.增加Hadoop集群专有用户83.4.安装和配置SSH84.安装和配置Hadoop集群94.1.在NameNode节点安装Hadoop94.2.修改search用户环境设置文件104.3.在NameNode节点配置Hadoop114.3.1配置hadoop-env.sh文件114.3.2配置core-site.xml文件.124.3.3配置mapred-site.xml文件124.3.4配置hdfs-site.xml文件134.3.5配置yarn-site.xml文件144.3.6配置主、从节点列表文件154.4.远程复制Hadoop到集群其他节点155.启动Hadoop集群155.1.系统格式化155.2.启动集群165.2.1启动HDFS分布式文件系统165.2.2启动YARN资源管理器165.2.3验证集群运行状况166.Hadoop集群动态扩展186.1.Hosts和Slaves文件中增加新增节点信息196.2.配置新增节点的SSH196.3.远程复制Hadoop到新增节点206.4.在新增节点上单独启动Hadoop20目的：本手册旨在熟悉Hadoop2.X集群的安装与配置过程。通过本手册的内容，使用户可以搭建一个拥有三个节点的Hadoop集群。集群构成：集群构成图：集群构成明细：该集群一共有三个安装了64位CentOS6.6系统的服务器节点。如下：NameNode：Name Node的主机名IP地址为：CentOS-W1（10）； Secondary NameNode DataNode1：DataNode1同时兼做Secondary NameNode使用。它的主机名IP地址为：CentOS-W2（09）；DataNode2：DataNode2的主机名IP地址为：CentOS-W3（07）。Hadoop安装前的准备：安装JDK虽然CentOS6.6自带了一个open版的JDK。但为了保证集群运转正常，建议还是卸载自带版本后安装SUN公司提供的标准版Java7的JDK包。[root@CentOS-W1 /]$ rpm -qa | grep jdkjdk-1.7.0_75-fcs.x86_64java-1.6.0-openjdk--.el6.x86_64java-1.7.0-openjdk-5-.el6_5.x86_64首先在用root用户登录CentOS-W1的系统后，通过以下命令（红字部分）检查系统已安装的JDK包的名称：[root@CentOS-W1 /]$ yum -y remove jdk-1.7.0_75-fcs.x86_64[root@CentOS-W1 /]$ yum -y remove java-1.6.0-openjdk--.el6.x86_64[root@CentOS-W1 /]$ yum -y remove java-1.7.0-openjdk-5-.el6_5.x86_64通过yum remove命令卸载这些系统自带的JDK包：（如果在卸载jdk-1.7.0_75-fcs.x86_64包的同时，另外两个JDK包作为关联包也同时被卸载了，那么就不用再分别卸载它们了）接下来从Oracle官网下载64的JDK1.7的RPM安装包到/mnt/hgfs/Share目录下后安装它。这里使用的安装包是：jdk-7u79-linux-x64.rpm。[root@CentOS-W1 /]$ rpm –ivh /mnt/hgfs/Share/jdk-7u79-linux-x64.rpm到这里为止就完成了CentOS-W1上的标准JDK的安装工作。JDK的默认安装目录为” /usr/java/jdk1.7.0_79/”。在CentOS-W2和CentOS-W3中参照以上步骤，同样完成标准JDK的替换安装工作。修改/etc/hosts文件在每一个节点中，通过修改/etc/hosts文件，实现集群中所有节点之间的主机名互访。修改后的/etc/hosts文件内容如下：增加Hadoop集群专有用户不要在root用户下安装Hadoop。而是应该为每一个节点增加一个Hadoop集群专有用户。在本手册中，我们使用了CentOS系统安装时设定的非root用户”search”。也可以新增其他非root用户，如”Hadoop”等来安装运行Hadoop集群。但要保证集群中每个节点安装和运行Hadoop的用户同名。安装和配置SSH集群中所有节点必须安装并配置SSH，保证各节点之间可以通