hadoop的部署.doc

  1. 1、本文档共15页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoop的部署

一、软件环境 Linux系统: redhat12 hadoop版本:hadoop-0.20.0(该版本为目前必威体育精装版版本为0.20.0) JDK版本:1.60(要求1.5以上版本) 二、硬件环境(完全分布式部署) 以五台机器构建一个cluster为例,其中以主机hadoop0作为命名节点,其它四台主机作为datanode: 1、IP配置 1.1 机器IP配置如下: Hadoop0:39 hadoop1:57 hadoop2:31 hadoop3:4 hadoop4:4 1.2 修改/etc/hosts文件(重要) 首先,要在没台机器的网络中配置好各自的主机名,dns。 修改/etc/hosts文件,以确保每台机器的主机名和IP地址之间能正确解析。 1.2.1Namenode机器配制 Namenode机器:需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名,本例中以主机hadoop主机作为命名结点,其它机器都是数据结点。 hadoop中的/etc/hosts文件修改如下: ??????? localhost??? localhost 39??? hadoop0????? hadoop0 57??? hadoop1???? hadoop1 31??? hadoop2???? hadoop2 4 hadoop3 hadoop3 4 hadoop4 hadoop4 注意:修改后执行命令:service network restart 1.2.2 Datanode机器配制 Datanode机器:修改/etc/hosts 文件同Namenode一样。 注意:修改后执行命令:service network restart 1.2.3 ping测试 测试:5台机器互相ping主机名,看是否可以ping通。 注意:如果ping不通请将防火墙关闭再尝试,检查一下网络,有时也需重启机器; 2、用户目录设置 2.1 用户目录结构设置 Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同用户名的帐户。所有机器用户名均设为hadoop,主目录为/home/hadoop。Hadoop部署完成后的目录结构如下:/home/hadoop/hadoop-0.20.0 3、SSH设置 3.1 SSH工作机理简要说明 在Hadoop启动以后,Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。 以本文中的几台机器为例,现在hadoop是主节点,它需要主动发起SSH连接到hadoop1、hadoop2等机器,对于SSH服务来说,hadoop就是SSH客户端,而hadoop1、hadoop2等机器则是SSH服务端,因此在hadoop1,hadoop2等机器上需要确定sshd服务已经启动。简单的说,在hadoop上需要生成一个密钥对,即一个私钥,一个公钥。将公钥拷贝到hadoop1,hadoop2等机器上,这样,比如当hadoop向hadoop1发起ssh连接的时候,hadoop1上就会生成一个随机数并用hadoop的公钥对这个随机数进行加密,并发送给hadoop;hadoop收到这个加密的数以后用私钥进行解密,并将解密后的数发送回hadoop1,hadoop1确认解密的数无误后就允许hadoop进行连接了。这就完成了一次公钥认证过程。 3.2 SSH设置 SSH需要仔细设置,否则hadoop根本没法跑起来。 3.2.1生成密钥 对于本文中的几台机器,首先在hadoop0上生成密钥对: 代码清单1 [hadoop@hadoop0:~]mkdir .ssh [hadoop@hadoop0:~]chmod 755 .ssh [hadoop@hadoop0:~]$ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 2e:57:e2:bf:f

文档评论(0)

xcs88858 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8130065136000003

1亿VIP精品文档

相关文档