第二章 HBase性能优化高级培训课程.pdf

Hadoop高级开发培训 张子良编著 zhangziliang04@ 第1章服务器配置优化 本章导读  1. zookeeper.session.timeout  2. hbase.regionserver.handler.count  3. hbase.hregion.max.filesize  4. global.memstore.upperLimit/lowerLimit  5. hfile.block.cache.size  6. hbase.hstore.blockingStoreFiles 1.1 zookeeper.session.timeout  zookeeper.session.timeout hase-site.xml 默认值：180000ms 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后 ，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移 除通知后，会对这台server负责的regions重新balance，让其他存活的 RegionServer接管. 调优： 1.1 zookeeper.session.timeout  调优 timeout决定了RegionServer是否能够及时的failover 。设置成1分钟或更低，可 以减少因等待超时而被延长的failover时间。不过需要注意的是，对于一些 Online应用，RegionServer从宕机到恢复时间本身就很短的(网络闪断，crash 等故障，运维可快速介入)，如果调低timeout时间，反而会得不偿失。因为当 ReigonServer被正式从RS集群中移除时，HMaster就开始做balance了(让其他 RS根据故障机器记录的WAL 日志进行恢复)。当故障的RS在人工介入恢复后， 这个balance动作是毫无意义的，反而会使负载不均匀，给RS 带来更多负担。 特别是那些固定分配regions的场景。 1.2 hbase.regionserver.handler.count  hbase.regionserver.handler.count 默认值：10 说明：RegionServer的请求处理IO线程数。 调优： 这个参数的调优与内存息息相关。 较少的IO线程，适用于处理单次请求内存消耗较高的Big PUT场景(大容量单次 PUT或设置了较大cache的scan，均属于Big PUT)或ReigonServer的内存比较紧 张的场景。 较多的IO线程，适用于单次请求内存消耗低，TPS要求非常高的场景。设置该 值的时候，以监控内存为主要参考。 1.3 hbase.hregion.max.filesize  hbase.hregion.max.filesize 默认值：256M 说明：在当前ReigonServer上单个Reigon的最大存储空间，单个Region超过该 值时，这个Region会被自动split成更小的region。 调优：小region对split和compaction友好，因为拆分region或compact小region 里的storefile速度很快，内存占用低。缺点是split和compaction会很频繁。特别 是数量较多的小region不停地split, compaction，会导致集群响应时间波动很大 ，region数量太多不仅给管理上带来麻烦，甚至会引发一些Hbase的bug。 一般512以下的都算小region。 1.3 hbase.hregion.max.filesize  hbase.hregion.max.filesize 大region，则不太适合经常split和compaction，因为做一次compact和split会产 生较长时间的停顿，对应用的读写性能冲击非常大。此外，大region意味着较 大的storefile，compaction时对内存也是一个挑战。 当然，大region也有其用武之地。如果你的应用场景中，某个时间点的访问量 较低，那么在此时做compact和split，既能顺利完成spli