Spark大数据分析 课件 第4章 弹性分布式数据集.pptx

RDD概述

目录/Contents01RDD概述

RDD概述01

RDD概述RDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD支持两种操作:transformation操作和action操作。RDD的转化操作是返回一个新的RDD的操作，比如map()和filter()，而action操作则是向驱动器程序返回结果或把结果写入外部系统的操作。比如count()和first()。

RDD概述RDD具有如下五个特性：1、一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。2、一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。3、RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

RDD概述4、一个Partitioner，即RDD的分片函数（分区器）。当前Spark中实现了两种类型的分片函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parentRDDShuffle输出时的分片数量。5、一个列表，存储存取每个Partition的优先位置（preferredlocation）。对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

感谢大家的聆听

RDD创建方式

目录/Contents01通过读取文件生成RDD02通过并行化方式创建RDD

通过读取文件生成RDD01

通过读取文件生成RDDSpark是支持使用任何Hadoop支持的存储系统上的文件创建RDD的，比如说HDFS、Cassandra、HBase以及本地文件。通过调用SparkContext的textFile()方法，可以针对本地文件或HDFS文件创建RDD。1．通过加载本地文件数据创建RDD2．通过加载HDFS文件数据创建RDD

通过并行化方式创建RDD02

通过并行化方式创建RDD如果要通过并行化集合来创建RDD，需要针对程序中已经存在的集合、数组，调用SparkContext中的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。即：集合中的部分数据会到一个节点上，而另一部分数据会到其它节点上。然后就可以采用并行的方式来操作这个分布式数据集合。

感谢大家的聆听

RDD类型操作

目录/Contents01转换算子02行动算子

转换算子01

转换算子Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。下面是一些常用的转换算子操作的API。操作介绍map(func)将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDDfilter(func)对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除flatMap(func)与map类似，但是对每个元素都可以返回一个或多个新元素groupByKey(func)根据key进行分组，每个key对应一个IterablevaluereduceByKey(func)对每个key对应value进行reduce操作

转换算子1.map(func)map(func)操作是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。2.f