第十二讲NoSQL数据库技术.ppt

注意：Master没有单点问题，HBase中可以启动多个Master，通过Zookeeper的Master Election机制保证总有一个Master运行 一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。 当然，牺牲一致性，只是不再要求关系型数据库中的强一致性，而是只要系统能达到最终一致性即可，考虑到客户体验，这个最终一致的时间窗口，要尽可能的对用户透明，也就是需要保障“用户感知到的一致性” 注意：Master没有单点问题，HBase中可以启动多个Master，通过Zookeeper的Master Election机制保证总有一个Master运行 HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。 ? 六、几种主流NoSQL数据库——HBase 数据模型 Row key、列族、列、时间戳，同bigtable定义 ? 六、几种主流NoSQL数据库——HBase 物理存储 Table 在行的方向上分割为多个HRegion，每个HRegion分散在不同的RegionServer中 ? 六、几种主流NoSQL数据库——HBase 物理存储 每个HRegion由多个Store构成，每个Store由一个memStore和0或多个StoreFile组成，每个Store保存一个Columns Family StoreFile以HFile格式存储在HDFS中 ? 六、几种主流NoSQL数据库——HBase 架构图 ? 六、几种主流NoSQL数据库——HBase 架构图 Client 包含访问hbase 的接口，client 维护着一些cache 来加快对hbase 的访问，比如regione 的位置信息 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region 的寻址入口 实时监控Region Server 的状态，将Region server 的上线和下线信息，实时通知给Master 存储Hbase 的schema,包括有哪些table，每个table 有哪些column family Master 为Region server 分配region 负责region server 的负载均衡 发现失效的region server 并重新分配其上的region GFS 上的垃圾文件回收 处理schema 更新请求 ? 六、几种主流NoSQL数据库——HBase 架构图 Region Server 维护Master 分配给它的region，处理对这些region 的IO 请求 负责切分在运行过程中变得过大的region 可以看出，client 访问hbase 上数据的过程并不需要master 参与，寻址访问zookeeper 和region server，数据读写访问regione server，master仅仅维护者table 和region 的元数据信息，负载很低 ? 六、几种主流NoSQL数据库——HBase 架构图 Hadoop EcoSystem中的各层系统，其中HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制? 六、几种主流NoSQL数据库——HBase Redis简介 redis是一个key-value存储系统。 和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集 合)。这些数据类型都支持push/pop、add/remove及取交集