Hadoop220+HBase96+Hive012配置.docx

公司产品最近在往大数据方向靠拢，个人有幸能参与在其中，一路研究下来，学习到了许多，也尝到了不少辛苦，尤其是Hadoop2.2.0+Hbase.96+Hive0.12的配置，前后折腾了近一个多星期，个中艰辛，恐怕只有真正的技术人员能体会吧，没有办法，绝强，死磕，本就是我们这些人的特点，下面讲一下自己的经历，给后来学习者一个提示吧，权当抛砖引玉。(一).首先是hadoop的下载和安装，hadoop2.2.0现在是apache官网上的必威体育精装版stable版本，你可以从：/apache/hadoop/common/stable/来下载hadoop-2.2.0.tar.gz?包。(二).下载后要将tar包传到我们计划的Linux系统上解压缩，一般来说我们肯定是已经准备好了Linux系统的，也许是一台真实的机器，也许只是测试玩玩的虚拟机，不管怎么样，在我们将tar包传到linux里之前，需要先在所有linux系统上准备一些环境，具体的有以下几步：? ??? ? 1.安装jdk，并设置好JAVA_HOME ，比如/usr/java/jdk1.6?? ??? ?2.设置主机名，一般来说hadoop集群都是多台机器的，得给他们安不同的名字以示区分，通过vi ?/etc/sysconfig/network设置hostname ，假设为server1，集群中的其他机器记得设置其他不同的名字，如server2,server3等。说明，文中我以server1称为主机，也就是HDFS中的nameNode，HBase中的HMaster，其他机器server2,server3是HDFS中的dataNode和HBase中的regionServer和.ookeeper.quorum。? ??? ? 3.设置ip和hostname的映射关系，如果你还有其他的ip，也一并设置，通过 vi /etc/hosts?? ??? ??? ??? ??? ??? ? 4.关闭防火墙，如果你要配置的是多个主机集群环境，那么必须将所有主机的防火墙关闭，否则有可能出现如HDFS中的dataNode无法心跳和NameNode同步的情况。? ??? ??5.创建专门的用户，一般来说，我们不会直接用root来启停hadoop应用，如果是集群环境，建议统一设置的相同的环境变量和专门的用户，这样就不用在集群将同步的时候还考虑不同的环境变量路径问题，比如我们创建hadoop用户。先创建组：groupadd hadoop，然后创建用户：useradd -g hadoop hadoop，然后修改hadoop用户的密码：passwd hadoop，建议将密码设置的短点，因为后面你启停应用的时候要用到的，最后建议将hadoop用户加到sodu列表：vi /etc/sudoers ?(hadoop ?ALL=(ALL) ? ? ?ALL)，? ??? ??6.设置主机到其他机器的无密码ssh，hadoop会通过shell脚步去控制其他主机启停，所有必需设置ssh的无密码登入，具体步骤如下：? ??? ??? ??? a).用hadoop登入server1，cd到用户目录下，如/home/hadoop/ 运行ssh-keygen –t rsa??(连续3次回车即可)? ? b).ssh拷贝到其他server上scp ~/.ssh/id_rsa.pub hadoop@server2:~/temp_key? ? c).登入都各server上创建并改变.ssh权限 ?chmod?700?~/.ssh? ?d).转换内容及改变权限? ? ? ? cat ~/temp_key ~/.ssh/authorized_keys? ? ? ? chmod?600?~/.ssh/authorized_keys? ? e).验证：从server1上ssh server2或其他server ,看看能不能直接登入，如果直接能登入不需要输入密码，则表示配置成功，否则重新配置，其他机器的配置把server2换成server3或其他即可。7.最后用hadoop用户再确认一下环境变量，比如hostname，JAVA_HOME,service iptables status等8.同步集群里的机器时间，是他们之间的时间差距不要超过30秒，因为如果不同步的话，后面hbase启动regionServer的时候会报错的。(三)环境准备好后，可以将下载的hadoop的tar包传了，建议上传到/home/hadoop用户目录下，方便管理，加压缩： ?tar xzvf ?hadoop-2.2.0.tar.gz?,加压缩就能在/home/hadoop下看到hadoop-2.2.0目录了。然后vi /home/hadoop/.bash_profile配置一下HA