基于Hadoop2.2在RHEL5.4-64上搭建HBase0.96.0.docVIP

准备环境 1） Java：（hadoop已经安装了） Hadoop 2.0.5已经正确安装，并且可以启动 HDFS 系统, ssh 必须安装ssh ， sshd 也必须运行，这样Hadoop的脚本才可以远程操控其他的Hadoop和Hbase进程。ssh之间必须都打通 NTP：集群的时钟要保证基本的一致。稍有不一致是可以容忍的，但是很大的不一致会 造成奇怪的行为。 运行 NTP 或者其他什么东西来同步你的时间。如果你查询的时候或者是遇到奇怪的故障，可以检查一下系统时间是否正确! 设置集群各个节点时钟：date -s “2012-02-13 14:00:00” ulimit 和 nproc HBase是数据库，会在同一时间使用很多的文件句柄。 大多数linux系统使用的默认值1024是不能满足的，会导致Too manyopen files异常。还可能会发生这样的异常： org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException org.apache.hadoop.hdfs.DFSClient:Abandoning block blk_-6935524980745310745_1391901 所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc，如果过低会造成 OutOfMemoryError异常。 需要澄清的，这两个设置是针对操作系统的，不是Hbase本身的。有一个常见的错误是Hbase运行的用户，和设置最大值的用户不是一个用户。在Hbase启动的时候，第一行日志会现在ulimit信息，所以你最好检查一下。 配置ulimit、nproc hard 和 softlimits： 在文件 /etc/security/limits.conf 添加: hadoop - nofile 32768 hadoop soft/hard nproc 32000 在 /etc/pam.d/common-session 加上这一行: session required pam_limits.so 否则在 /etc/security/limits.conf上的配置不会生效. 还有注销再登录，这些配置才能生效! 修改Hadoop HDFS Datanode同时处理文件的上限：dfs.datanode.max.xcievers 一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了). 在你加载之前，先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数，至少要有4096: property namedfs.datanode.max.xcievers/name value4096/value /property 对于HDFS修改配置要记得重启. 如果没有这一项配置，你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded，但是运行起来会报 missing blocks错误。例如: INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry... 安装hbase tar xfz hbase-0.96.0-hadoop2-bin.tar.gz 继续使用hadoop用户安装 修改配置文件 配置conf/hbase-env.sh # exportJAVA_HOME=/usr/java/jdk1.6.0/ xport JAVA_HOME=/usr/java/jdk1.6.0_33 # Tell HBase whether it should manage itsown instance of Zookeeper or not. export HBASE_MANAGES_ZK=true 不管是什么模式，你都需要编辑?conf/hbase-env.sh来告知Hbase?java的安装路径.在这个文件里你还可以设置Hbase的运行环境，诸如 heapsize和其他?JVM有关的选项, 还有Log文件地址，等等. 设置?JAVA_HOME指向?ja