《Spark应用开发技术》课件——02_掌握DataFrame基础操作.pptxVIP

;本章主要讲述SparkSQL的使用。

本章主要讲述SparkDataFrame基础操作。;通过学习本节将能够学习SparkSQL、SparkDataFrame基础操作。

通过本节学习可以：

理解SparkSQL的基本概念。

掌握SparkSQL与Shell交互。

掌握创建DataFrame对象的方法。

掌握DataFrame查看数据的方法。

掌握DataFrame的查询及输出操作。

;认识SparkSQL

SparkSQL简介

SparkSQLCLI配置

SparkSQL与Shell交互

掌握DataFrame基础操作

创建DataFrame对象

DataFrame查看数据

DataFrame查询操作

DataFrame输出操作

探索分析法律服务网站数据

获取数据、网页类型分析、点击次数分析、网页排名分析

;1.创建DataFrame对象

结构化数据文件创建DataFrame

外部数据库创建DataFrame

RDD创建DataFrame

Hive中的表创建DataFrame

;结构化数据文件创建DataFrame

加载parquet文件为DataFrame

加载json文件为DataFrame方式一

加载json文件为DataFrame方式二

;外部数据库创建DataFrame

SparkSQL可以从外部数据库（比如MySQL、Oracle等数据库）中创建DataFrame

使用这种方式创建DataFrame需要通过JDBC连接或ODBC连接的方式访问数据库

;RDD创建DataFrame方式一

利用反射机制推断RDD模式，使用这种方式首先需要定义一个caseclass，因为只有caseclass才能被Spark隐式地转换为DataFrame。

;RDD创建DataFrame方式二

从原来的RDD创建一个元组或列表的RDD

用StructType创建一个和上一个步骤中创建

的RDD中元组或列表的结构相匹配的Schema

通过SQLContext提供的createDataFrame方法

将Schema应用到RDD上

;从Hive中的表创建RDD

从Hive表中的表创建DataFrame，可以声明一个HiveContext对象

使用HiveContext对象查询Hive中的表并转成DataFrame

;准备数据

将数据movies.dat,ratings.dat,users.dat上传到HDFS

分别加载movies.dat,ratings.dat,users.dat数据为RDD数据movies,ratings,users

分别将RDD数据movies,ratings,users转换为DataFrame

;2.DataFrame查看数据

;DataFrame查看数据——printSchema

printSchema函数查看数据模式，打印出列的名称和类型

;DataFrame查看数据——show

;DataFrame查看数据——show()/show(truncate:Boolean)

show()方法与show(true)方法一样，只显示前20条记录并且最多只显示20个字符

若是要显示所有字符，需要使用show(false)方法

;DataFrame查看数据——show(numRows:Int)

show(numRows:Int)查看前n行记录

;DataFrame查看数据——first/head/take/takeAsList

;DataFrame查看数据——collect/collectAsList

collect方法可以将DataFrame中的所有数据都获取到，并返回一个Array对象

collectAsList方法可以获取所有数据到List

;3.DataFrame查询方式一

将DataFrame注册成为临时表，然后通过SQL语句进行查询

;4.DataFrame查询方式二

直接在DataFrame对象上进行查询，DataFrame提供了很多查询的方法

;DataFrame查询——条件查询

DataFrame可以使用where(conditionExpr:String)

根据指定条件进行查询

参数中可以使用and或or

该方法的返回结果仍然为DataFrame类型

;DataFrame查询——条件查询

DataFrame还可使用filter筛选符合条件的数据

filter与where的使用方法一样

;DataFrame查询——查询指定字段的数据信息

select方法根据传入的string类型字段名，获取指定字段的值，以DataFrame类型返回

;DataFrame查询——查询指定字段的数据信息

;DataFrame查询——查询指定字段的数据信息

col或者a