讲如何处理结构化数据dataframe datasetspark sql海量资源.pdfVIP

本文由简悦SimpRead转码，原文地址

本我们来学习如何处理结构化数据：DataFrame、Dataset和SparkSQL。由于本是专栏的第

3模块：Spark高级编程的第1课，在开始今天的课程之前，首先对上一个模块进行一个总结。

模块回顾

在第2模块里，我们学习了Spark数据结构RDD和算子，以及Spark相关的一些底层原理。可以

看到RDD将大数据集抽象为集合，这掩盖了分布式数据集的复杂性，而函数式编程风格的算子也能满

足不同的数据处理逻辑。但是，RDD+算子的组合，对于普通分析师来说还是不太友好，他们习惯于

“表”的概念而非“集合”，而使用基于集合完成数据处理的逻辑更像是程序员们的思维方式。对于数据处

理逻辑，分析师们更习惯用SQL而非算子来表达。所以，Spark借鉴了Python数据分析库pandas中

DataFrame的概念，推出了DataFrame、Dataset与SparkSQL。

在数据科学领域中，DataFrame抽象了矩阵，如R、pandas中的DataFrame；在数据工程领域，如

SparkSQL中，DataFrame地代表了关系型数据库中的表，这样就可以利用简单易学的SQL来进行

数据分析；在Spark中，可以用SparkSQL+DataFrame的组合实现海量数据分析，也可用

DataFrame+MLlib（Spark机器学习库）的组合实现海量数据挖掘。

在计算机领域中，高级往往意味着简单、封装程度高，而与之对应的通常是复杂、底层。对于Spark编程

来说，RDD+算子的组合无疑是比较底层的，而DataFrame+SparkSQL的组合无论从学习成

本，还是从性能开销上来说，都显著优于前者组合，所以无论是分析师还是程序员，这种方式才是使用

Spark的首选。此外，对于分析师来说，DataFrame对他们来说并不陌生，熟悉的概念也能让他们快

速上手。

本的主要内容有4点：

DataFrame、Dataset的与演变

DataFrameAPI

DatasetAPI

SparkSQL

DataFrame、Dataset的与演变

DataFrame在Spark1.3被引入，它的出现取代了SchemaRDD，Dataset最开始在Spark1.6被引

入，当时还属于实验性质，在2.0版本时正式成为Spark的一部分，并且在Spark2.0中，DataFrame

API与DatasetAPI在形式上得到了统一。

DatasetAPI提供了类型安全的面向对象编程接口。Dataset可以通过将表达式和数据字段给查询

程序和Tungsten的快速内存编码，从而利用Catalyst优化器。但是，现在DataFrame和

Dataset都作为ApacheSpark2.0的一部分，其实DataFrame现在是DatasetUntypedAPI的特

殊情况。更具体地说：

下面这比较清楚地表示了DataFrame与Dataset的变迁与关系。

由于Python不是类型安全的语言，所以SparkPythonAPI没有DatasetAPI，而只提供了

DataFrameAPI。当然，Java和Scala就没有这种问题。

DataFrameAPI

DataFrame与Da