- 1、本文档共20页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop环境搭建及wordcount实例运行
Hadoop环境搭建及wordcount实例运行
环境概述
虚拟平台:VirtualBox4.2.0
Linux版本:Ubuntu10.04
Hadoop版本:hadoop-0.20.2
JDK版本:1.6.0
Hadoop环境规划:一台namenode主机master,两台datanode主机salve1、slave2,master主机IP为,slave1主机IP为,slave2主机IP为。
VirtualBox虚拟机网络设置
设置virtualbox中的ubuntu使用两个网卡,一个网卡是网络地址转换(NAT)网卡,使用dhcp的方式获取ip,用来访问外网;另外一个网卡是Host-Only网卡,用来与物理主机之间的互相访问。入下图所示:
设置virtualbox的Host-Only虚拟网卡IP
打开网络设置界面,右键点击VirtualBox Host-Only Network网卡,入下图所示:
依次选择打开“属性”-“internet协议”,设置该网卡的IP。为了避免与公司的内网IP冲突,这里设置为,点击确定。如下图所示:
设置ubuntu的网卡IP,第一个网卡eth0设置为dhcp获取ip,第二个网卡eth1设置为静态ip。/etc/network/interfaces文件配置如下:
完了重启网络 /etc/init.d/networking restart
测试网络
在物理主机ping虚拟机:
在虚拟机ping物理机:
在virtualbox中启用文件夹共享功能
打开虚拟机的设置界面,添加共享文件夹,如下图所示:
已root身份登录虚拟机
创建挂载目录:
mkdir /mnt/share
挂载共享目录:
mount -t vboxsf vmshared /mnt/share
vmshared是共享文件夹的名字。
注意执行mount命令时当前目录一定不能是挂载目录/mnt/share。
如下图,物理主机D:\vmshared目录下的文件已在虚拟机的/mnt/share下共享。
离线安装ssh服务
由于我的虚拟机在内网,无法通过apt-get来在线安装ssh服务,下面介绍一下离线安装openssh-server服务。
到/download/explain.php?fileid载以下三个文件
openssh-client_5.3p1-3ubuntu3_i386.deb
openssh-server_5.3p1-3ubuntu3_i386.deb
ssh_5.3p1-3ubuntu3_all.deb
依次安装即可
dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb
dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb
dpkg -i ssh_5.3p1-3ubuntu3_all.deb
启动ssh server
/etc/init.d/ssh start
启动后ps -ef|grep ssh
存在sshd进程即表明ssh服务安装成功。
配置ssh信任关系
以master主机到slave1主机的ssh信任关系配置过程为例。
先以root身份登录两台主机,修改/etc/hosts文件为以下内容:
localhost
master
slave1
slave2
然后按以下步骤配置master到slave1之间的ssh信任关系
用户@主机:/执行目录 操作命令 说明 hadoop@master:/home/hadoop ssh-keygen -t rsa 这个命令将为用户hadoop生成密钥对,询问其保存路径时直接回车采用默认路径,当提示要为生成的密钥输入passphrase的时 候,直接回车,也就是将其设定为空密码。生成的密钥对id_rsa,id_rsa.pub,保存在/home/hadoop/.ssh目录下。 hadoop@slave1:/home/hadoop ssh-keygen -t rsa 同上 hadoop@master:/home/hadoop cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
把公用密匙添加到authorized_keys 文件中 hadoop@master:/home/hadoop ssh slave1 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
把slave1的公钥拷贝到master的authorized_keys,中间会有提示输入hadoop@slave1的密码 hadoop@master:/home/hadoop scp ~/.ssh/authoriz
文档评论(0)