大数据集群配置过程_hbase篇分解.docx

大数据集群配置过程_hbase篇JDDC_SEED_BIGDATA 2015-01-15修改历史修改日期担当者审阅人版本号新增2015-01-15孙云涛V1.0概述本篇文档主要讲解hbase的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hbase版本是0.96.x切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。正文本次hadoop集群规模以及分布如下：主机IP主机名主机角色操作系统02hadoop02HmasterCentos6.501hadoop01HregionserverCentos6.503hadoop03HregionserverCentos6.504hadoop04HregionserverCentos6.5注意：Hregionserver和datanode安装在同一主机上，所以Hregionserver和datanode的主机数量最好是奇数，否则hbase启动时会报错。2.1下载安装hbase声明：可以先在Hmaster节点上安装、配置hbase以及修改/etc/profile，然后通过scp命令把hbase包和/etc/profile复制到各个HregionServer上。下载hbase-0.96.2-hadoop2-bin.tar.gz，参考下载地址/dyn/closer.cgi/hbase/。下载后放置在目录/home/hadoop/source/下执行以下命令：tar –zxvf hbase-0.96.2-hadoop2-bin.tar.gztar指令执行完成后，/home/hadoop/source/下会生成一个目录hbase-0.96.2-hadoop2进入到/home/hadoop/source/hbase-0.96.2-hadoop2/conf目录下,修改以下文件hbase-site.xml文件中在configuration/configuration内追加以下内容： property namehbase.master/name valuehadoop02:60000/value /property property namehbase.master.maxclockskew/name value300000/value /property property namehbase.rootdir/name valuehdfs://hadoop02:9000/hbase/value /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.zookeeper.quorum/name valuehadoop01,hadoop03,hadoop04/value /property property nameperty.dataDir/name value/home/hadoop/zookeeper/value /property property nameperty.clientPort/name value2181/value /property property namehbase.tmp.dir/name value/home/hadoop/hbase/value /property注意：hbase.rootdir这一项一定要和hadoop的core-site.xml中的的配置内容一致（hdfs://hadoop02:9000/部分）。而且不用特意在hdfs中创建/base这个目录，hbase第一次启动时自动会在hdfs中创建。hbase.cluster.distributed这一项的值如果是true说明要配置的hbase集群是真集群，如果是false则是伪集群，真集群使用hdfs而伪集群使用的是各主机自有的文件系统