- 1、本文档共15页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
hadoop的部署
一、软件环境
Linux系统: redhat12
hadoop版本:hadoop-0.20.0(该版本为目前必威体育精装版版本为0.20.0)
JDK版本:1.60(要求1.5以上版本)
二、硬件环境(完全分布式部署)
以五台机器构建一个cluster为例,其中以主机hadoop0作为命名节点,其它四台主机作为datanode:
1、IP配置
1.1 机器IP配置如下:
Hadoop0:39
hadoop1:57
hadoop2:31
hadoop3:4
hadoop4:4
1.2 修改/etc/hosts文件(重要)
首先,要在没台机器的网络中配置好各自的主机名,dns。
修改/etc/hosts文件,以确保每台机器的主机名和IP地址之间能正确解析。
1.2.1Namenode机器配制
Namenode机器:需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名,本例中以主机hadoop主机作为命名结点,其它机器都是数据结点。
hadoop中的/etc/hosts文件修改如下:
??????? localhost??? localhost
39??? hadoop0????? hadoop0
57??? hadoop1???? hadoop1
31??? hadoop2???? hadoop2
4 hadoop3 hadoop3
4 hadoop4 hadoop4 注意:修改后执行命令:service network restart
1.2.2 Datanode机器配制
Datanode机器:修改/etc/hosts 文件同Namenode一样。
注意:修改后执行命令:service network restart
1.2.3 ping测试
测试:5台机器互相ping主机名,看是否可以ping通。
注意:如果ping不通请将防火墙关闭再尝试,检查一下网络,有时也需重启机器;
2、用户目录设置
2.1 用户目录结构设置
Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同用户名的帐户。所有机器用户名均设为hadoop,主目录为/home/hadoop。Hadoop部署完成后的目录结构如下:/home/hadoop/hadoop-0.20.0
3、SSH设置
3.1 SSH工作机理简要说明
在Hadoop启动以后,Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。
以本文中的几台机器为例,现在hadoop是主节点,它需要主动发起SSH连接到hadoop1、hadoop2等机器,对于SSH服务来说,hadoop就是SSH客户端,而hadoop1、hadoop2等机器则是SSH服务端,因此在hadoop1,hadoop2等机器上需要确定sshd服务已经启动。简单的说,在hadoop上需要生成一个密钥对,即一个私钥,一个公钥。将公钥拷贝到hadoop1,hadoop2等机器上,这样,比如当hadoop向hadoop1发起ssh连接的时候,hadoop1上就会生成一个随机数并用hadoop的公钥对这个随机数进行加密,并发送给hadoop;hadoop收到这个加密的数以后用私钥进行解密,并将解密后的数发送回hadoop1,hadoop1确认解密的数无误后就允许hadoop进行连接了。这就完成了一次公钥认证过程。
3.2 SSH设置
SSH需要仔细设置,否则hadoop根本没法跑起来。
3.2.1生成密钥
对于本文中的几台机器,首先在hadoop0上生成密钥对:
代码清单1
[hadoop@hadoop0:~]mkdir .ssh
[hadoop@hadoop0:~]chmod 755 .ssh
[hadoop@hadoop0:~]$ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
2e:57:e2:bf:f
您可能关注的文档
最近下载
- 心理健康教育对青少年学习动力的影响.pptx VIP
- 基于财务共享模式下的财务风险管理—以海尔集团为例.doc VIP
- 初一学生期中家长会优质课件.ppt
- 中国华电集团发电运营有限公司招聘笔试题库2024.pdf
- 物流服务师(高级工)职业技能鉴定考试及答案.doc VIP
- 2024年浙江省中考数学试卷(附答案).pdf
- 人教版九年级全册英语Unit 14大单元整体教学设计.docx
- 4.11.1《探问人生目标》课件人教统编版道德与法治七年级上册2024新教材.pptx
- JB∕T 10923-2020 电能表用磁保持继电器.pdf
- 2018年版《广东省安装工程定额说明及计算规则》C.5 建筑智能化工程.pdf
文档评论(0)