Spark大数据分析 课件 第4章 弹性分布式数据集.pptxVIP

RDD概述

RDD概述

RDD概述

应

RDD概述

RDD(ResilientDistributedDataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表

一个不可变、可分区、里面的元素可并行计算的集合。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。

RDD可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。RDD具有数

据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD支持两种操作：transformation

操作和action操作。RDD的转化操作是返回一个新的RDD的操作，比如map()和filter(),而action操作则是向驱动器程序返回结果或把结果写入外部系统的操作。比如count()和first()。

RDD概述

RDD具有如下五个特性：

1、一组分片(Partition),即数据集的基本组成单位。

对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。

2、一个计算每个分区的函数。

Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。

3、RDD之间的依赖关系。

RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

RDD概述

4、一个Partitioner,即RDD的分片函数(分区器)。

当前Spark中实现了两种类型的分片函数，一个是基于哈希的HashPartitioner,另外一个是基于范围的

RangePartitioner。只有对于于key-value的RDD,才会有Partitioner,非key-value的RDD

的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parent

RDDShuffle输出时的分片数量。

5、一个列表，存储存取每个Partition的优先位置(preferredlocation)。

对于一个HDES文件来说，这个列表保存的就是每个Partition所在的块的位置。按照”移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

RDD创建方式

通过并行化方式创建RDD

通过读取文件生成RDD

通过读取文件生成RDD

ô

通过读取文件生成RDD

Spark是支持使用任何Hadoop支持的存储系统上的文件创建RDD的，比如说HDFS、Cassandra、HBase以及本地文件。通过调用SparkContext的textFile()方法，可以针对本地文件或HDFS文件创建RDD。

1.通过加载本地文件数据创建RDD2.通过加载HDFS文件数据创建RDD

通过并行化方式创建RDD

如果要通过并行化集合来创建RDD,需要针对程序中已经存在的集合、

数组，调用SparkContext中的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。即：集合中的部分数据会到一个节点上，而另一部分数据会到其它节点上。然后就可以采用并行的方式来操作这个分布式数据集合。

通过并行化方式创建RDD

感谢大家的聆听

RDD类型操作

转换算子

行动算子

转换算子

01

ô

操作

介绍

map(func)

将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD

filter(func)

对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除

flatMap(func)

与map类似，但是对每个元素都可以返回一个或多个新元素

gro