hive语法和常用函数（1）.pdf

实用文案 Hive是一个基于Hadoop分布式系统上的数据仓库，最早是由Facebook公司开发的，Hive极大的推 进了Hadoop ecosystem在数据仓库方面上的发展。 Facebook的分析人员中很多工程师比较擅长而SQL而不善于开发MapReduce程 序，为此开发出Hive，并对比较熟悉SQL的工程师提供了一套新的SQL- like方言——Hive QL。 Hive SQL方言特别和MySQL方言很像，并提供了Hive QL的编程接口。Hive QL 语句最终被Hive解析器引擎解析为MarReduce程序，作为job提交给Job Tracker运行。这对 MapReduce框架是一个很有力的支持。 Hive是一个数据仓库，它提供了数据仓库的部分功能：数据ETL(抽取、转换、 加载)工具，数据存储管理，大数据集的查询和分析能力。 由于Hive是Hadoop上的数据仓库，因此Hive也具有高延迟、批处理的的特性， 即使处理很小的数据也会有比较高的延迟。故此，Hive的性能就和居于传统数据库的数据仓库的 性能不能比较了。 Hive不提供数据排序和查询的cache功能，不提供索引功能，不提供在线事物， 也不提供实时的查询功能，更不提供实时的记录更性的功能，但是，Hive能很好地处理在不变的 超大数据集上的批量的分析处理功能。Hive是基于hadoop平台的，故有很好的扩展性(可以自适 应机器和数据量的动态变化)，高延展性(自定义函数)，良好的容错性，低约束的数据输入格式。 下面我们来看一下Hive的架构和执行流程以及编译流程： 标准文档 1 实用文案 用户提交的Hive QL语句最终被编译为MapReduce程序作为Job提交给Hadoop执 行。 Hive的数据类型 Hive的基本数据类型有：TINYINT，SAMLLINT，INT，BIGINT，BOOLEAN，FLOAT， DOUBLE，STRING，TIMESTAMP(V0.8.0+)和BINARY(V0.8.0+)。 Hive的集合类型有：STRUCT，MAP和ARRAY。 Hive主要有四种数据模型(即表) ：(内部)表、外部表、分区表和桶表。 表的元数据保存传统的数据库的表中，当前hive只支持Derby和MySQL数据库。 内部表： Hive中的表和传统数据库中的表在概念上是类似的，Hive的每个表都有自己的 存储目录 ，除了外部表外，所有的表数据都存放在配置在hive-site.xml 文件的 ${hive.metastore.warehouse.dir}/table_name目录下。 Java代码 标准文档 2 实用文案 1. CREATE TABLE IF NOT EXISTS students(user_no INT,name STRING,sex STRING, 2. grade STRING COMMOT 班级）COMMONT 学生表 3. ROW FORMAT DELIMITED 4. FIELDS TERMINATED BY , 5. STORE AS TEXTFILE; 外部表： 外部表指向已经存在在Hadoop HDFS上的数据，除了在删除外部表时只删除元数 据而不会删除表数据外，其他和内部表很像。 Java代码 1. CREATE EXTERNAL TABLE IF NOT EXISTS students(user_no INT,name STRING,sex STRING, 2. class STRING COMMOT 班级）COMMONT 学生表 3. ROW FORMAT DELIMITED 4. FIELDS TERMINATED BY , 5. STORE AS SEQUE