Hadoop环境搭建及wordcount实例运行.doc

  1. 1、本文档共20页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop环境搭建及wordcount实例运行

Hadoop环境搭建及wordcount实例运行 环境概述 虚拟平台:VirtualBox4.2.0 Linux版本:Ubuntu10.04 Hadoop版本:hadoop-0.20.2 JDK版本:1.6.0 Hadoop环境规划:一台namenode主机master,两台datanode主机salve1、slave2,master主机IP为,slave1主机IP为,slave2主机IP为。 VirtualBox虚拟机网络设置 设置virtualbox中的ubuntu使用两个网卡,一个网卡是网络地址转换(NAT)网卡,使用dhcp的方式获取ip,用来访问外网;另外一个网卡是Host-Only网卡,用来与物理主机之间的互相访问。入下图所示: 设置virtualbox的Host-Only虚拟网卡IP 打开网络设置界面,右键点击VirtualBox Host-Only Network网卡,入下图所示: 依次选择打开“属性”-“internet协议”,设置该网卡的IP。为了避免与公司的内网IP冲突,这里设置为,点击确定。如下图所示: 设置ubuntu的网卡IP,第一个网卡eth0设置为dhcp获取ip,第二个网卡eth1设置为静态ip。/etc/network/interfaces文件配置如下: 完了重启网络 /etc/init.d/networking restart 测试网络 在物理主机ping虚拟机: 在虚拟机ping物理机: 在virtualbox中启用文件夹共享功能 打开虚拟机的设置界面,添加共享文件夹,如下图所示: 已root身份登录虚拟机 创建挂载目录: mkdir /mnt/share 挂载共享目录: mount -t vboxsf vmshared /mnt/share vmshared是共享文件夹的名字。 注意执行mount命令时当前目录一定不能是挂载目录/mnt/share。 如下图,物理主机D:\vmshared目录下的文件已在虚拟机的/mnt/share下共享。 离线安装ssh服务 由于我的虚拟机在内网,无法通过apt-get来在线安装ssh服务,下面介绍一下离线安装openssh-server服务。 到/download/explain.php?fileid载以下三个文件 openssh-client_5.3p1-3ubuntu3_i386.deb openssh-server_5.3p1-3ubuntu3_i386.deb ssh_5.3p1-3ubuntu3_all.deb 依次安装即可 dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb dpkg -i ssh_5.3p1-3ubuntu3_all.deb 启动ssh server /etc/init.d/ssh start 启动后ps -ef|grep ssh 存在sshd进程即表明ssh服务安装成功。 配置ssh信任关系 以master主机到slave1主机的ssh信任关系配置过程为例。 先以root身份登录两台主机,修改/etc/hosts文件为以下内容: localhost master slave1 slave2 然后按以下步骤配置master到slave1之间的ssh信任关系 用户@主机:/执行目录 操作命令 说明 hadoop@master:/home/hadoop ssh-keygen -t rsa 这个命令将为用户hadoop生成密钥对,询问其保存路径时直接回车采用默认路径,当提示要为生成的密钥输入passphrase的时 候,直接回车,也就是将其设定为空密码。生成的密钥对id_rsa,id_rsa.pub,保存在/home/hadoop/.ssh目录下。 hadoop@slave1:/home/hadoop ssh-keygen -t rsa 同上 hadoop@master:/home/hadoop cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 把公用密匙添加到authorized_keys 文件中 hadoop@master:/home/hadoop ssh slave1 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 把slave1的公钥拷贝到master的authorized_keys,中间会有提示输入hadoop@slave1的密码 hadoop@master:/home/hadoop scp ~/.ssh/authoriz

文档评论(0)

xcs88858 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8130065136000003

1亿VIP精品文档

相关文档