Spark大数据技术与应用 -教案 第4章 Spark编程进阶 教案.pdfVIP

打造数据智能职业教育领军企业

第4章Spark编程进阶

教案

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论40学时，实验24学时）

总学分：4.0学分

本章学时：6学时

一、材料清单

（1）《Spark大数据技术与应用》教材。

（2）配套PPT。

（3）引导性提问。

（4）探究性问题。

（5）拓展性问题。

二、教学目标与基本要求

1.教学目标

主要介绍如何使用IntelliJIDEA搭建Spark开发环境，以及如何在开发环境中编程和运

行程序。运行程序主要介绍两种方法：一种是在IntelliJIDEA中设置masterURL运行，一

种是打包程序在集群中运行。对spark-submit提交集群运行的方法着重描述，并且分析常用

的参数设置。为了提高运行效率，介绍数据持久化以及数据分区方法。最后再以竞赛网站用

户访问任务为例，对所学知识进行实践操作。

2.基本要求

打造数据智能职业教育领军企业

（1）掌握配置Spark开发环境。

（2）掌握如何新建工程和运行工程。

（3）掌握运行Spark程序的方法。

（4）了解数据分区与持久化的方法。

一、问题

1.引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问

题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

（1）之前的编程都是在spark-shell中，过程中有没有遇到什么问题？

（2）如果要写入一个类，用spark-shell环境你觉得会遇到哪些问题？

（3）RDD是一个分区数据集合，是否了解过查看分区的方法？

（4）有没有遇到过需要自己定义RDD分区的情况？

（5）了解过持久化的概念吗？

2.探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的

基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课

文中又是重要的问题加以设问。

（1）在IDEA中搭建Spark编程环境有哪些需要配置的内容？

（2）如何在IDEA中编写Spark程序？

（3）如何打包程序并提交到Spark集群中运行？

（4）持久化RDD的方法有哪些？

（5）自定义数据分区方式需要继承哪个类，实现哪些方法？

（6）程序运行时有哪些集群参数可以优化？

3.拓展性问题

打造数据智能职业教育领军企业

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提

出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问

题。

（1）repartition分区与自定义分区之间有什么异同点？

（2）在一个spark程序类中，通过SparkConf设置了appName，如果在使用spark-

submit提交任务到集群中时再次设置appName，那么按照参数的优先级，最终使用了哪一个

appName?

二、主要知识点、重点与难点

1.主要知识点

（1）下载与安装IntelliJIDEA。

（2）Scala插件安装与使用。

（3）配置Spark运行环境的方法。

（4）运行Spark程序的方法。

（5）持久化方法。

（6）数据分区方法。

2.重点

（1）配置Spark运行环境。

（2）运行Spark程序的方式。

（3）持久化（缓存）实