Spark函数讲解cache.pdfVIP

Spark函数讲解：cache Spark大数据博客 - Spark函数讲解：cache 关注iteblog_hadoop公众号，并在这里 评论区留言并且留言点赞数排名前5名的粉丝，各免费赠送一本《Spark GraphX实战》，活动截止至04月14日18:00，心动不如行动。 使用MEMORY_ONLY储存级别对RDD进行缓存，其内部实现是调用persist()函数的。官方文 档定义： Persist this RDD with the default storage level (`MEMORY_ONLY`). 函数原型 def cache() : this.type 实例 /** * User: 过往记忆 * Date: 15-03-04 * Time: 下午06:30 * bolg: * 本文地址：/archives/1274 * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货 * 过往记忆博客微信公共帐号：iteblog_hadoop */ scala var data = sc.parallelize(List(1,2,3,4)) data: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[44] at parallelize at console:12 scala data.getStorageLevel res65: org.apache.spark.storage.StorageLevel = StorageLevel(false, false, false, false, 1) scala data.cache res66: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[44] at parallelize at console:12 scala data.getStorageLevel 1 / 2 Spark函数讲解：cache Spark大数据博客 - res67: org.apache.spark.storage.StorageLevel = StorageLevel(false, true, false, true, 1) 我们先是定义了一个RDD，然后通过getStorageLevel函数得到该RDD的默认存储级别，这里 是NONE。然后我们调用cache函数，将RDD的存储级别改成了MEMORY_ONLY(看StorageLevel的 第二个参数)。关于StorageLevel的其他的几种存储级别介绍请参照StorageLevel类进行了解，这 里就不介绍了。 优秀人才不缺工作机会，只缺适合自己的好机会。但是他们往往没有精力从海量机会中找到最适 合的那个。 100offer 会对平台上的人才和企业进行严格筛选，让「最好的人才」和「最好的公司」相遇。 注册 100offer，谈谈你对下一份工作的期待。一周内，收到 5-10 个满足你要求的好机会！ 本博客文章除特别声明，全部都是原创！ 禁止个人和公司转载本文、谢谢理解：过往记忆（/） 本文链接: 【】（） Powered by TCPDF () 2 / 2