Hadoop环境搭建及wordcount实例运行.doc

Hadoop环境搭建及wordcount实例运行 环境概述 虚拟平台：VirtualBox4.2.0 Linux版本：Ubuntu10.04 Hadoop版本：hadoop-0.20.2 JDK版本：1.6.0 Hadoop环境规划：一台namenode主机master，两台datanode主机salve1、slave2，master主机IP为，slave1主机IP为，slave2主机IP为。 VirtualBox虚拟机网络设置 设置virtualbox中的ubuntu使用两个网卡，一个网卡是网络地址转换（NAT）网卡，使用dhcp的方式获取ip，用来访问外网；另外一个网卡是Host-Only网卡，用来与物理主机之间的互相访问。入下图所示： 设置virtualbox的Host-Only虚拟网卡IP 打开网络设置界面，右键点击VirtualBox Host-Only Network网卡，入下图所示： 依次选择打开“属性”-“internet协议”，设置该网卡的IP。为了避免与公司的内网IP冲突，这里设置为，点击确定。如下图所示： 设置ubuntu的网卡IP，第一个网卡eth0设置为dhcp获取ip，第二个网卡eth1设置为静态ip。/etc/network/interfaces文件配置如下： 完了重启网络 /etc/init.d/networking restart 测试网络 在物理主机ping虚拟机： 在虚拟机ping物理机： 在virtualbox中启用文件夹共享功能 打开虚拟机的设置界面，添加共享文件夹，如下图所示： 已root身份登录虚拟机 创建挂载目录： mkdir /mnt/share 挂载共享目录： mount -t vboxsf vmshared /mnt/share vmshared是共享文件夹的名字。 注意执行mount命令时当前目录一定不能是挂载目录/mnt/share。 如下图，物理主机D:\vmshared目录下的文件已在虚拟机的/mnt/share下共享。 离线安装ssh服务 由于我的虚拟机在内网，无法通过apt-get来在线安装ssh服务，下面介绍一下离线安装openssh-server服务。 到/download/explain.php?fileid载以下三个文件 openssh-client_5.3p1-3ubuntu3_i386.deb openssh-server_5.3p1-3ubuntu3_i386.deb ssh_5.3p1-3ubuntu3_all.deb 依次安装即可 dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb dpkg -i ssh_5.3p1-3ubuntu3_all.deb 启动ssh server /etc/init.d/ssh start 启动后ps -ef|grep ssh 存在sshd进程即表明ssh服务安装成功。 配置ssh信任关系 以master主机到slave1主机的ssh信任关系配置过程为例。 先以root身份登录两台主机，修改/etc/hosts文件为以下内容： localhost master slave1 slave2 然后按以下步骤配置master到slave1之间的ssh信任关系 用户@主机:/执行目录 操作命令 说明 hadoop@master:/home/hadoop ssh-keygen -t rsa 这个命令将为用户hadoop生成密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时 候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，保存在/home/hadoop/.ssh目录下。 hadoop@slave1:/home/hadoop ssh-keygen -t rsa 同上 hadoop@master:/home/hadoop cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 把公用密匙添加到authorized_keys 文件中 hadoop@master:/home/hadoop ssh slave1 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 把slave1的公钥拷贝到master的authorized_keys，中间会有提示输入hadoop@slave1的密码 hadoop@master:/home/hadoop scp ~/.ssh/authoriz