二零二三年 优质公开课sortBy函数解析.pptx

sortBy函数解析 目录概述sortBy函数解析21222 概述1 概述 在很多应用场景都需要对结果数据进行排序。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。 sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。 sortBy函数解析2 sortBy函数解析 sortBy函数是在org.apache.spark.rdd.RDD类中实现的，它的实现如下：/**?* Return this RDD sorted by the given key function.?*/def sortBy[K](????f: (T) = K,????ascending: Boolean = true,????numPartitions: Int = this.partitions.size)????(implicit ord: Ordering[K], ctag: ClassTag[K]): RDD[T] =??this.keyBy[K](f)??????.sortByKey(ascending, numPartitions)??????.values sortBy函数解析 该函数最多可以传三个参数： 1、第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的； 2、第二个参数是ascending，这个参数决定排序后RDD中的元素是升序还是降序，默认是true，也就是升序； 3、第三个参数是numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。 sortBy函数解析  从sortBy函数的实现可以看出，第一个参数是必须传入的，而后面的两个参数可以不传入。而且sortBy的实现依赖于sortByKey。 keyBy函数也是RDD类中进行实现的，它的主要作用就是将将传进来的每个元素作用于f(x)中，并返回tuples类型的元素，也就变成了Key-Value类型的RDD，它的实现如下： /** * Creates tuples of the elements in this RDD by applying `f`。 */ def keyBy[K](f: T = K): RDD[(K, T)] = {???? map(x = (f(x), x)) }