Hive编程技术与应用第2章.pptxVIP

智慧交通概述Hive编程技术与应用

目录2.1Hive用户接口2.2Hive元数据库2.3Hive数据存储2.4Hive文件格式2.5本章小结

第2章Hive架构Hive是为了简化用户编写MapReduce程序而生成的一种框架。在Hive架构中主要包括Hive用户接口、Hive元数据库等。本章将给出Hive架构的详细介绍

2.1Hive用户接口2.1Hive用户接口Hive提供了以下三种客户端用户访问接口。（1）HiveCLI（HiveCommandLine，Hive命令行）。客户端可以直接在命令行模式下进行操作。通过命令行，用户可以定义表、执行查询等。如果没有指定其他服务，这个就是默认的服务。（2）HWI（HiveWebInterface，HiveWeb接口）。Hive提供了更直观的Web界面，可以执行查询语句和其他命令，这样可以不用登录到集群中的某台机器上使用CLI来进行查询。（3）Hive提供了Thrift服务，即Hiveserver。它是监听来自于其他进程的Thrift连接的一个守护进程。Thrift客户端目前支持C++/Java/PHP/Python/Ruby语言。2.1.1HiveCLIHiveCLI提供了执行HiveQL、设置参数等功能。要启用CLI只需要在命令行下执行$HIVE_HOME/bin/hive命令。在命令下执行hive-H可以查看CLI的参数选项，如图2-1所示。

第2章Hive架构图2-1HiveCLI的参数选项其中HiveCLI每一个对应的参数选项的具体解释见表2-1。参数选项说明-d,--definekey=value应用于Hive命令的变量替换，如-dA=B或者--defineA=B--databasedatabasename指定所使用的数据库-equoted-query-string执行命令行指定的SQL-ffilename执行文件中的SQL-H,--help打印帮助信息-hhostname连接远程主机上的Hive服务器表2-1HiveCLI参数选项详解

第2章Hive架构下面介绍几个常用的Hive命令行操作实例。（1）执行一个查询：$HIVE_HOME/bin/hive-eselecta.colfroma命令执行过程中会在终端上显示MapReduce的进度。执行完毕后，把查询结果输出到终端上，接着Hive进程退出，不会进入交互模式。（2）静音模式执行一个查询：$HIVE_HOME/bin/hive-S-eselecta.colfroma命令中加入-S则终端上的输出不会有MapReduce的进度。执行完毕只会把查询结果输出到终端上。这个静音模式很实用，通过第三方程序调用，第三方程序通过Hive的标准输出获取结果集。（3）静音模式执行一个查询把结果集导出：$HIVE_HOME/bin/hive-S-eselecta.colfromaa.csv（4）不进入交互模式执行一个HiveScript：$HIVE_HOME/bin/hive-f/home/hive/hive-script.sqlhive-script.sql是使用HiveSQL语法编写的脚本文件，执行的过程和用-e参数选项类似，区别是从文件加载SQL。但是HiveSQL文件对于bash来说是不能使用变量，而使用-e的方式，可以在bash里使用变量。这里也可以和静音模式-S联合使用，通过第三方程序调用，第三方程序通过Hive的标准输出获取结果集。上述实例中都是在终端直接执行HiveCLI命令行操作，并没有进入Hive交互式Shell模式。当执行$HIVE_HOME/bin/hive时，没有-e或者-f选项则会进入交互式Shell模式

第2章Hive架构HWI是HiveCLI命令行接口的一个Web替换方案。HWI的特点是相对于命令行方式界面友好，适合不太熟悉Linux命令行操作方式的人员。1．配置和启动HWI这里以Hive的1.2.1版本为例。HWI的运行需要依赖两个包：hive-hwi-1.2.1.jar和hive-hwi-1.2.1.war，这两个包应该都部署在$HIVE_HOME/lib目录下。但是在apache-hive-1.2.1-bin.tar.gz的安装包lib目录下没有提供war包，解决方法是下载对应版本的Hive源码。进入到源码包的/hwi/web/目录下，将该目录下的文件夹和文件压缩成war包，并且命名为hive-hwi-1.2.1.war，放到$HIVE_HOME/lib目录下即可。配置$HIVE_HOME/conf/hive-site.xml，如图2-