云计算与大数据技术 课件 第14章 Hive数据仓库.pptx

Hive简介

Hive简介

Hive是Facebook为了解决海量数据的统计分析。而开发的构建在Hadoop之上的一个大数据分析和统计工具。Hive在某种程度上可以被看作用户编程接口，采用了SQL的查询语言HQL（HiveQL），便于熟悉SQL的用户查询数据。

Hive简介

Hive本身并不能存储和处理数据，它依赖于HDFS，又不能直接访问HDFS数据，需要先把HQL语句转换成MapReduce任务，然后采用批处理的方式在Hadoop上对海量数据进行处理。

Hive工作流程

Hive工作流程

Hive通过其提供的一系列交互接口，接收用户的SQL指令。

它使用自己的Driver程序，结合元数据（Metastore），将这些指令翻译为MapReduce任务。

然后，Hive将这些任务提交到Hadoop集群中执行。

最后，执行结果会被返回给用户交互接口，供用户查看和使用。

Hive工作流程

在整个过程中，Hive充当了用户与Hadoop之间的桥梁，使得用户能够通过简单的SQL指令对大规模数据进行查询和分析。

Hive的数据存储模型

Hive的数据存储模型

Hive中所有的数据都被存储在HDFS中，没有专门的数据存储格式（可支持Text、Avro、ORC、SequenceFile、ParquetFile、RCFile等），只需要在创建表时指定Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。

Hive的数据存储模型

创建一个内部表cityInfo（cityID,cityName,population），代码如下：

createtablecityInfo(

cityIDstring,

cityNamestring,

populationint)

rowformatdelimited

fieldsterminatedby,

storedastextfile;

Hive的数据存储模型

Hive中的数据模型包括数据库（Database）、表（Table）、分区（Partition）和桶（Bucket）。

Hive的数据存储模型

（1）数据库（Database）：在HDFS中，数据库表现为${hive.Metastore.warehouse.dir}目录下的一个文件夹。在创建表时，如果不指定数据库，则默认为“default”数据库。

（2）表（Table）：在HDFS中，表表现为所属数据库目录下的一个文件夹。Hive中默认创建的是内部表，这种表的数据由Hive来管理。当删除表时，表的数据和元数据都会被删除。

Hive的数据存储模型

（3）分区（Partition）：在Hive表查询时，可能只需要扫描表中的某部分数据，不需要扫描表中的全部内容，因此在建表时引入了分区的概念。

在Hive表查询时，如果指定了分区字段作为筛选条件，那么只需要到对应的分区目录中检索数据即可，减少了处理的数据量，从而有效地提高了效率。

Hive的数据存储模型

（4）桶（Bucket）：桶可以被理解为将“大表”细分为“小表”的一种数据结构。这种设计主要是为了提高查询效率，使得进行抽样查询时更加便捷。

Hive的数据存储模型

桶是Hive数据模型中的最小单元。当某数据被加载到桶中时，首先会根据字段的值对其进行哈希处理，然后用哈希结果除以桶的数量来决定该数据应该存储在哪个桶中。这样就确保了每个桶中都有数据，但每个桶中的数据条数可能并不相等。

Hive的数据存储模型

数据加载-哈希取值-分桶

Hive的数据存储模型

桶是一种技术，用于将数据分解为更小、更易管理的部分。这种技术主要是为了提高数据的处理和查询效率。在Hive中，桶可以应用于表或分区。

Hive的数据存储模型