数据仓库Hive应用实战 教案41-44课时_导入：向表中装载数据.doc

湖南汽车工程职业学院

教师授课教案

第6周第1-4课时累计44课时

课程名称

大数据仓库HIVE

授课课题

导入：向表中装载数据

授课专业班级

大数据2101、大数据2102、大数据2103

教学目标

能熟练使用多种方式将数据装载进Hive表中；

教学要点

教学重点

使用查询语句装载数据到分区表

教学难点

使用查询语句装载数据到分区表

课型

一体化授课

教法与学法（教具）

示范演示法、任务驱动教学法、分组合作教学法

课后作业

完成智课堂作业、看视频熟练操作

教学后记

（教师课后填写）

授课教师

王海霞、黄史记

【课前复习】

表的存储格式的基本语法是什么？

【作业点评】

展示智课堂学生作业完成情况，并做点评。

【学习目标】

能熟练使用多种方式将数据装载进Hive表中；

【课程导入】

本章讨论HiveQL向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分，即HiveDML。HiveDML是Hive生态系统中所有数据处理的基础。

在本章中，当讨论通过查询语言生成目标表时，大量使用了SELECT...WHERE语句。那么，我们为什么不先讲述SELECT...WHERE语句，而直到下一章也就是第8章才阐述呢？

因为我们刚讨论了如何创建数据库、创建表，就会期望先解决随之而来的下一个问题，即如何装载数据到这些表中，然后才能有数据供查询！我们假定用户已经理解了SQL的基础知识，因此这些语句对用户来说应该不陌生。如果用户对此并不熟悉，那么请到第8章获取相关更详细的介绍。

【新课讲授】

Hive没有行级别的数据插入、数据更新和删除操作，常见往表中装载数据的方式是将文件写入到表对应的目录下。

处理数据并形成信息需要对数据进行呈现。Hive环境可以接受任何可用分隔符来结构化的数据。

使用以下DML处理可以将数据装载到平台中。要将数据装载到平台，需要两个组件。

待装载数据的来源（源）

用于装载数据的表（目标）

一、使用存储在HDFS中的文件迁移数据到表

Hive支持从Hadoop分布式文件系统（HDFS）迁移数据到表。这是将数据迁移到Hive生态系统最基本的方法。

其语法如下：

LOADDATA[LOCAL]INPATHfilepath[OVERWRITE]INTOTABLEtablename

其中，所有[]中的内容都是可选项，详细语法解释如下表。

表7-1装载数据到表的语法详解

关键字

语法解释

LOADDATA

是向Hive装载数据的关键字。

LOCAL

为可选项。如果包含该关键字，则支持用户从其指定的filepath本地文件拷贝数据到HDFS的目标位置；如果省略该关键字，则从指定的HDFS中filepath迁移数据到目标位置，即Hadoop配置变量fs.default.name中设定的路径加载文件。

INPATHfilepath

如果使用LOCAL，则路径为本地文件系统:file:///user/hive/example；如果省略LOCAL，则路径为分布式文件系统路径:hdfs://namenode:9000/user/hive/example。

OVERWRITE

如果包含，支持用户将数据装载到一个早已建好的表中并且替换原来的数据；如果省略，支持用户将数据装载到一个早已建好的表中并且将新数据追加到原来的数据后面。

INTOTABLEtablename

tablename是Hive中已经存在的表的名称。

【讲练结合】

【例7-1】将HDFS文件系统中phy_course_part.txt的数据装载到表phy_course_hdfs中。

【例7-2】接着上题的基础上，将HDFS文件系统中phy_course_part2.txt的数据overwrite方式覆盖装载到表。

【新课讲授】

二、使用存储在本地文件系统中的文件拷贝数据到表

Hive支持从本地文件系统中拷贝数据到表中。

【讲练结合】

【例7-3】将本地文件系统中phy_course_part.txt的数据装载到表phy_course_local中。

【例7-4】使用执行脚本方式将本地文件系统中phy_course_part2.txt的数据覆盖装载到表中。

[hadoop@hiveroot]$hive-f/opt/script/LoadDataLocal-phy_course_local.hql

【例7-5】将本地文件系统文本文件phy_course_part.txt装载数据到分区表phy_course_partition中。

【新课讲授】

使用查询语句装载数据到表

Hive支持将从已有表查询到的数据装载到Hive生态系统中。这也是Hive导出数据的方式之一，即将Hive表中的数据导出到另一个Hive表