- 1、本文档共19页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop实验集群搭建手册
Hadoop实验集群搭建手册Ver.变更日期变更者说明12015/8/10王旭东初版目录1.目的:52.集群构成:52.1.集群构成图:52.2.集群构成明细:63.Hadoop安装前的准备:63.1.安装JDK63.2.修改/etc/hosts文件73.3.增加Hadoop集群专有用户83.4.安装和配置SSH84.安装和配置Hadoop集群94.1.在NameNode节点安装Hadoop94.2.修改search用户环境设置文件104.3.在NameNode节点配置Hadoop114.3.1配置hadoop-env.sh文件114.3.2配置core-site.xml文件.124.3.3配置mapred-site.xml文件124.3.4配置hdfs-site.xml文件134.3.5配置yarn-site.xml文件144.3.6配置主、从节点列表文件154.4.远程复制Hadoop到集群其他节点155.启动Hadoop集群155.1.系统格式化155.2.启动集群165.2.1启动HDFS分布式文件系统165.2.2启动YARN资源管理器165.2.3验证集群运行状况166.Hadoop集群动态扩展186.1.Hosts和Slaves文件中增加新增节点信息196.2.配置新增节点的SSH196.3.远程复制Hadoop到新增节点206.4.在新增节点上单独启动Hadoop20目的:本手册旨在熟悉Hadoop2.X集群的安装与配置过程。通过本手册的内容,使用户可以搭建一个拥有三个节点的Hadoop集群。集群构成:集群构成图:集群构成明细:该集群一共有三个安装了64位CentOS6.6系统的服务器节点。如下:NameNode:Name Node的主机名IP地址为:CentOS-W1(10); Secondary NameNode DataNode1:DataNode1同时兼做Secondary NameNode使用。它的主机名IP地址为:CentOS-W2(09);DataNode2:DataNode2的主机名IP地址为:CentOS-W3(07)。Hadoop安装前的准备:安装JDK虽然CentOS6.6自带了一个open版的JDK。但为了保证集群运转正常,建议还是卸载自带版本后安装SUN公司提供的标准版Java7的JDK包。[root@CentOS-W1 /]$ rpm -qa | grep jdkjdk-1.7.0_75-fcs.x86_64java-1.6.0-openjdk--.el6.x86_64java-1.7.0-openjdk-5-.el6_5.x86_64首先在用root用户登录CentOS-W1的系统后,通过以下命令(红字部分)检查系统已安装的JDK包的名称:[root@CentOS-W1 /]$ yum -y remove jdk-1.7.0_75-fcs.x86_64[root@CentOS-W1 /]$ yum -y remove java-1.6.0-openjdk--.el6.x86_64[root@CentOS-W1 /]$ yum -y remove java-1.7.0-openjdk-5-.el6_5.x86_64通过yum remove命令卸载这些系统自带的JDK包:(如果在卸载jdk-1.7.0_75-fcs.x86_64包的同时,另外两个JDK包作为关联包也同时被卸载了,那么就不用再分别卸载它们了)接下来从Oracle官网下载64的JDK1.7的RPM安装包到/mnt/hgfs/Share目录下后安装它。这里使用的安装包是:jdk-7u79-linux-x64.rpm。[root@CentOS-W1 /]$ rpm –ivh /mnt/hgfs/Share/jdk-7u79-linux-x64.rpm到这里为止就完成了CentOS-W1上的标准JDK的安装工作。JDK的默认安装目录为” /usr/java/jdk1.7.0_79/”。在CentOS-W2和CentOS-W3中参照以上步骤,同样完成标准JDK的替换安装工作。修改/etc/hosts文件在每一个节点中,通过修改/etc/hosts文件,实现集群中所有节点之间的主机名互访。修改后的/etc/hosts文件内容如下:增加Hadoop集群专有用户不要在root用户下安装Hadoop。而是应该为每一个节点增加一个Hadoop集群专有用户。在本手册中,我们使用了CentOS系统安装时设定的非root用户”search”。也可以新增其他非root用户,如”Hadoop”等来安装运行Hadoop集群。但要保证集群中每个节点安装和运行Hadoop的用户同名。安装和配置SSH集群中所有节点必须安装并配置SSH,保证各节点之间可以通
文档评论(0)