大数据技术原理与应用-1pdfnet.PPT

14.5.4 Impala与Hive的比较 Hive与Impala的相同点总结如下： Hive与Impala使用相同的存储数据池，都支持把数据存储于HDFS和HBase中 Hive与Impala使用相同的元数据 Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划 图 Impala与Hive的对比 14.5.4 Impala与Hive的比较 总结 Impala的目的不在于替换现有的MapReduce工具 把Hive与Impala配合使用效果最佳 可以先使用Hive进行数据转换处理，之后再使用Impala在Hive处理后的结果数据集上进行快速的数据分析 14.6 Hive编程实践 14.6.1 Hive的安装与配置 14.6.2 Hive的数据类型 14.6.3 Hive基本操作 14.6.4 Hive应用实例：WordCount 14.6.5 Hive编程的优势 Hive上机实践详细过程，请参考厦门大学数据库实验室建设的 “中国高校大数据课程公共服务平台”中的 “大数据课程学生服务站”中的“学习指南”栏目： 学生服务站地址：/post/4331/ 学习指南栏目中包含了《Hive 实践教程》 /blog/hive-in-practice 扫一扫访问学生服务站 14.6.1 Hive的安装与配置 1. Hive安装 下载安装包apache-hive-1.2.1-bin.tar.gz 下载地址：/dyn/closer.cgi/hive/ 解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local 配置系统环境,将hive下的bin目录添加到系统的path中 2. Hive配置 Hive有三种运行模式，单机模式、伪分布式模式、分布式模式。均是通过修改hive-site.xml文件实现，如果 hive-site.xml文件不存在，我们可以参考$HIVE_HOME/conf目录下的hive-default.xml.template文件新建。 安装Hive之前需要安装jdk1.6以上版本以及启动Hadoop 14.6.2 Hive的数据类型 表 Hive的基本数据类型 类型 描述 示例 TINYINT 1个字节（8位）有符号整数 1 SMALLINT 2个字节（16位）有符号整数 1 INT 4个字节（32位）有符号整数 1 BIGINT 8个字节（64位）有符号整数 1 FLOAT 4个字节（32位）单精度浮点数 1.0 DOUBLE 8个字节（64位）双精度浮点数 1.0 BOOLEAN 布尔类型，true/false true STRING 字符串，可以指定字符集 “xmu” TIMESTAMP 整数、浮点数或者字符串 1327882394（Unix新纪元秒） BINARY 字节数组 [0,1,0,1,0,1,0,1] 14.6.2 Hive的数据类型 表 Hive的集合数据类型 类型 描述 示例 ARRAY 一组有序字段，字段的类型必须相同 Array(1,2) MAP 一组无序的键/值对，键的类型必须是原子的，值可以是任何数据类型，同一个映射的键和值的类型必须相同 Map(‘a’,1,’b’,2) STRUCT 一组命名的字段，字段类型可以不同 Struct(‘a’,1,1,0) 14.6.3 Hive基本操作 1. create: 创建数据库、表、视图 创建数据库 创建数据库hive hive create database hive; 创建数据库hive。因为hive已经存在，所以会抛出异常，加上if not exists关键字，则不会抛出异常 hive create database if not exists hive; 14.6.3 Hive基本操作 创建表 在hive数据库中，创建表usr，含三个属性id，name，age hive use hive; hivecreate table if not exists usr(id bigint,name string,age int); 在hive数据库中，创建表usr，含三个属性id，name，age，存储路径为“/usr/local/hive/warehouse/hive/usr” hivecreate table if not exists hive.usr(id bigint,name string,age int) location ‘/usr/local/hive/warehouse/hive/usr’; 14.6.3 Hive基本操作 创建视图 创建视图little_