Spark函数讲解coalesce.pdfVIP

Spark函数讲解：coalesce Spark大数据博客 - Spark函数讲解：coalesce 关注iteblog_hadoop公众号，并在这里 评论区留言并且留言点赞数排名前5名的粉丝，各免费赠送一本《Spark GraphX实战》，活动截止至04月14日18:00，心动不如行动。 对RDD中的分区重新进行合并。 函数原型 def coalesce(numPartitions: Int, shuffle: Boolean = false) (implicit ord: Ordering[T] = null): RDD[T] 返回一个新的RDD，且该RDD的分区个数等于numPartitions个数。如果shuffle设置为true， 则会进行shuffle。 实例 /** * User: 过往记忆 * Date: 15-03-09 * Time: 上午06:30 * bolg: * 本文地址：/archives/1279 * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货 * 过往记忆博客微信公共帐号：iteblog_hadoop */ scala var data = sc.parallelize(List(1,2,3,4)) data: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[45] at parallelize at console:12 scala data.partitions.length res68: Int = 30 scala val result = data.coalesce(2, false) result: org.apache.spark.rdd.RDD[Int] = CoalescedRDD[57] at coalesce at console:14 scala result.partitions.length res77: Int = 2 1 / 2 Spark函数讲解：coalesce Spark大数据博客 - scala result.toDebugString res75: String = (2) CoalescedRDD[57] at coalesce at console:14 [] | ParallelCollectionRDD[45] at parallelize at console:12 [] scala val result1 = data.coalesce(2, true) result1: org.apache.spark.rdd.RDD[Int] = MappedRDD[61] at coalesce at console:14 scala result1.toDebugString res76: String = (2) MappedRDD[61] at coalesce at console:14 [] | CoalescedRDD[60] at coalesce at console:14 [] | ShuffledRDD[59] at coalesce at console:14 [] +-(30) MapPartitionsRDD[58] at coalesce at console:14 [] | ParallelCollectionRDD[45] at parallelize at console:12 [] 从上面可以看出shuffle为false的时候并不进行shuffle操作；而为true的时候会进行shuffle操 作。RDD.partitions.length可以获取相关RDD的分区数。 优秀人才不缺工作机会，只缺适合自己的好机会。但是他们往往没有精力从海量机会中找到最适 合的那个。 100offer 会对平台上的人才和企业进行严格筛选，让「最好的人才」和「最好的公司」相遇。 注册 100offer，谈谈你对下一份工作的期待。一周内，收到 5-10 个满足你要求的好机会！ 本博客文章除特别声明，全部都是原创！ 禁止个人和公司转载本文、谢谢理解：过往记忆（/） 本文链接: 【】（） Powered by TCPDF () 2 / 2