《Hive数据仓库技术与应用案例教程》教案 项目7 Hive性能优化.docx

PAGE2

PAGE2

PAGE7

PAGE7

课题

Hive性能优化

课时

2课时（90min）

教学目标

知识目标：

（1）掌握存储优化的方法

（2）熟悉参数优化的方法

（3）掌握查询优化的方法

技能目标：

（1）能够使用存储优化方法优化Hive性能

（2）能够使用不同的参数优化方法优化Hive性能

（3）能够使用不同的查询优化方法优化Hive性能

素养目标：

（1）发扬精益求精的工匠精神，养成严谨认真的工作态度

（2）培养优化意识，持续提升个人能力

教学重难点

教学重点：存储优化、参数优化和查询优化的方法

教学难点：使用不同优化方法优化Hive性能

教学方法

案例分析法、问答法、讨论法、讲授法

教学用具

电脑、投影仪、多媒体课件、教材

教学过程

主要教学内容及步骤

课前任务

【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课前任务

请大家了解Hive性能优化的相关知识。

【学生】完成课前任务

考勤

【教师】使用APP进行签到

【学生】班干部报请假人员及原因

问题导入

【教师】提出以下问题：

（1）常用的数据压缩格式有哪些？

（2）在Hive中，可以从哪些方面优化JOIN语句？

【学生】思考、举手回答

传授新知

【教师】通过学生的回答引入要讲的知识，介绍存储优化、参数优化、查询优化的相关知识

7.1存储优化

在?Hive?中，存储优化是指根据实际需求使用合适的表存储格式和数据压缩格式，从而提高数据查询速度、降低存储成本等。

TextFile?表存储格式的特点是数据加载速度快，但是本身不支持数据压缩；SequenceFile?表存储格式的特点是压缩比低，数据查询速度一般，数据加载速度较快；ORC表存储格式的特点是压缩比高，数据查询速度快，数据加载速度慢；Parquet表存储格式的特点是压缩比高，数据查询速度快，数据加载速度慢。在实际应用中，用户可以根据实际需求选择不同的表存储格式，从而平衡压缩比、数据查询速度和数据加载速度。

?【教师】利用多媒体展示“常用的数据压缩格式”表格，并进行讲解

压缩数据可以减少磁盘的存储空间，降低I/O传输的开销。常用的数据压缩格式包括Bzip2、Zlib、Gzip、LZO和Snappy等，详细介绍如表所示。

常用的数据压缩格式

数据压缩格式

压缩比

压缩速度

是否可分割

Bzip2

高

慢

是

Zlib

中

中

否

Gzip

中

中

否

LZO

低

快

是

Snappy

低

快

否

结合使用合适的表存储格式和数据压缩格式，可以进一步优化Hive的存储空间和数据查询速度。在实际应用中，通常将ORC表存储格式与Bzip2、Zlib或Snappy数据压缩格式结合使用。针对需要节省存储空间，但不要求执行效率的情况，可以将ORC表存储格式与Bzip2或Zlib数据压缩格式结合使用。针对需要提高执行效率，但不要求节省存储空间的情况，可以将ORC表存储格式与Snappy数据压缩格式结合使用。

【例?7-1】在数据库hive_database中创建表student_orc_snappy，并指定表存储格式为ORC，数据压缩格式为Snappy，执行的语句如下。

…/USEhive_database;

…/CREATETABLEstudent_orc_snappy(

idINT,nameSTRING,ageINT)

STOREDASORC

TBLPROPERTIES(press=Snappy);

?【教师】随机邀请学生回答以下问题：

使用TBLPROPERTIES语句配置表student_orc_snappy的press（ORC的数据压缩格式）属性值是什么？

?【学生】聆听、思考、回答

?【教师】总结学生的回答

使用TBLPROPERTIES语句配置表student_orc_snappy的press（ORC的数据压缩格式）属性值为Snappy。

7.2参数优化

在Hive中，参数优化是指通过配置不同的参数实现不同的功能，从而提高数据查询的执行效率、减少资源消耗、优化任务执行计划。配置参数可以分为临时配置和永久配置。其中，临时配置是指使用SET关键字指定参数和参数对应的值，若退出当前会话，该配置会自动消失；永久配置是指在配置文件“hive-site.xml”中指定参数和参数对应的值，该配置只要不删除，将永久生效。

?【教师】随机邀请学生回答以下问题：

ETL工具有哪些作用？

?【学生】聆听、思考、回答

?【教师】总结学生的回答

查看当前参数值的语法格式如下。

SETparameter_name;

其中，parameter_name表示参数名称。

7.2.1配置MapReduce压缩

执行MapRedu