Hadoop+Zookeeper+Hbase安装配置使用.docx

Hadoop+zookeeper+hbase的安装配置使用一、准备1.搭建hadoop集群需要1台namenode和n台datanode，本文以1台namenode和2台datanode为例，主机名及地址分别为：主机名ip地址master22（namenode）#注意：主机名称不要取localhost这个名s123（datanode）s224（datanode）2.创建一个专门用来运行hadoop的用户账号，比如增加一个名为test、密码为123456的用户，并且hadoop集群中的所有机器都是用同一个用户名，因为Hadoop要求所有机器上hadoop的部署目录结构要相同并且有一个相同的用户名的帐户3.确保安装并配置好1.6版本的jdk二、Hadoop的安装与配置1.Hadoop的安装1）首先去hadoop官网下载hadoop安装包，比如hadoop-.tar.gz2）安装hadoop：[test@master ~]$ tar -zxvf hadoop-.tar.gz （创建专门用来运行hadoop的账号目的就在于要将hadoop安装到该用户的目录下）切换到root权限，将Hadoop文件的拥有者改为hadoop用户和组[test@master ~]$ su[root@master test]# chown -R test:testhadoop-x.y.z将hadoop的安装路径添加到/etc/profile中：export HADOOP_HOME=/home/test/hadoop-x.y.zexport PATH=$HADOOP_HOME/bin:$PATH为了让/etc/profile生效，执行[root@master ~]# source /etc/profile2.hadoop的配置 1）配置/etc/hosts文件（master，s1，s2都要配置） [test@master ~]$su [root@master ~]#vim /etc/profile加入三台机器的ip地址机器名：（如果已经有了的就不用再加了） 22master 23s1 24s2 2）ssh设置及关闭防火墙（fedora装好后默认启动sshd服务，如果不确定的话可以查一下[root@localhost test]#service sshd status，如果没启动的话，先启动[root@master test]#service sshd start）建立ssh无密码登陆（在namenode上进行）[test@master ~]$ssh-keygenGenerating public/private rsa key pair. Enter file in which to save the key (/home/test/.ssh/id_rsa): .ssh/id_rsa Enter passphrase (empty for no passphrase):#这里是提示输入口令，也可以无口令，直接回车即可。 Enter same passphrase again: ……执行完之后，会在~/.ssh/生成两个文件：id_rsa和id_rsa.pub,这两个是成对出现的，一个是私钥一个是公钥。把公钥id_rsa.pub追加到datanode上的authorized_keys [test@master ~]$scp id_rsa.pub 23:/home/test/.ssh在namenode上通过ssh登陆到datanode上 [test@master ~]$ssh 23输入test账户在23机器上的密码，回车这时就登陆到了23这台机器上了，通过命令提示符的改变可以看到，[test@s1 ~]$然后进行追加 [test@s1 ~]$cat id_rsa.pub ~/.ssh/authorized_keys修改datenode上.ssh和authorized_keys的权限 [test@s1 ~]$chmod 755 ~/.ssh [test@s1 ~]$chmod 755 ~/.ssh/authorized_keys退出登陆，回到本机 [test@s1 ~]$exit [test@master ~]$修改namenode上.ssh和authorized_keys的权限 [test@master ~]$chmod 755 ~/.ssh [test@master ~]$chmod 755 ~/.ssh/authorized_keys测试下是否设置成功 [test@master ~]$ss