大数据技术原理与应用：分布式数据库HBase.pdfVIP

《大数据技术原理与应用》 /course/XMU-1002335004 中国大学MOOC 2018年春季学期 第4讲分布式数据库HBase 4.1 概述 • 4.1.1 从BigTable说起 • 4.1.2 HBase简介 • 4.1.3 HBase与传统关系数据库的对比分析 4.1.1从BigTable说起 BigTable是一个分布式存储系统 BigTable起初用于解决典型的互联网有哪些信誉好的足球投注网站问题 •建立互联网索引 1 爬虫持续不断地抓取新页面，这些页面每页一行地存储到BigTable里 2 MapReduce计算作业运行在整张表上，生成索引，为网络有哪些信誉好的足球投注网站应用做准备 •有哪些信誉好的足球投注网站互联网 3 用户发起网络有哪些信誉好的足球投注网站请求 4 网络有哪些信誉好的足球投注网站应用查询建立好的索引，从BigTable得到网页 5 有哪些信誉好的足球投注网站结果提交给用户 网页在BigTable中的存储样例 4.1.1从BigTable说起 •BigTable是一个分布式存储系统 •利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据 •使用谷歌分布式文件系统GFS作为底层数据存储 •采用Chubby提供协同服务管理 •可以扩展到PB级别的数据和上千台机器，具备广泛应用性、可扩展性、 高性能和高可用性等特点 •谷歌的许多项目都存储在BigTable中，包括有哪些信誉好的足球投注网站、地图、财经、打印、 社交网站Orkut、视频共享网站YouTube和博客网站Blogger等 4.1.2 HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的 开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常 庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据 和数百万列元素组成的数据表 Hadoop生态系统 ETL工具 BI报表 RDBMS Pig Hive Sqoop r MapReduce e p e o e r k HBase v o A o Z HDFS (Hadoop Distributed File System) 图4-1 Hadoop生态系统中HBase与其他部分的关系 4.1.2 HBase简介 表4-1 HBase和BigTable 的底层技术对应关系 BigTable HBase 文件存储系统 GFS HDFS 海量数据处理 MapRedu