Spark大数据分析与实战（第二版） 项目3 教案.docx

PAGE32

课程名称

Spark大数据分析

选用教材

Spark大数据分析与实战（第2版）

出版社

西安电子科技大学出版社

章节

项目3SparkRDD分析交通违章记录

教学内容

借助成熟的SparkRDD技术，分析交通违章记录文件中的数据。

授课学时

授课班级

****专业*****班

授课日期

授课地点

教学目标

了解RDD的特性及运算的原理，了解RDD的执行流程；

熟悉各种数据源创建RDD的算子，多种方法查看RDD的元素

（2）熟练使用算子完成RDD的转换、排序、过滤、去重等操作；

（3）能够完成键值对RDD的生成、转换等操作；

（4）根据业务需求，能将RDD中数据输出到文件系统中。

重点难点

RDD的生成（内存数据、文件等生成）

RDD的map、filter、sortBy等常用算子；

键值对RDD的key、value相关操作，键值对RDD排序等；

两个RDD的相关操作：join、union、zip等。

教学方法

R讲授￡讨论或座谈￡问题导向学习￡分组合作学习￡案例教学￡任务驱动

R项目教学￡情景教学￡演示汇报￡实践教学￡参观访问￡引导文教学￡其他(--)

教学准备（教师）

教材：《Spark大数据分析与实战（第2版）》

硬件设备：内存8G（或以上）的计算机

（2）教学资源：课件PPT、教学日历、相关软件等

教学准备

（学生）

教材：《Spark大数据分析与实战（第2版）》

硬件设备：内存8G（或以上）的计算机

（3）教学资源：课件PPT、相关软件等

教学环节

教学内容与过程

（教学内容、教学方法、组织形式、教学手段）

课前组织

教师通过课程教学平台或班级群发布学习预习任务及课程资源；学生提前预习相关内容，并完成课前自测等。

课程内容描述

任务3.1根据交通违章数据创建RDD

认识RDD

RDD就是一个分布在集群多节点中存放数据的集合；虽然一个数据集分散于集群多个节点，但逻辑上仍然是一个整体（即RDD），数据处理人员只需对这个整体进行处理，而无需关注底层逻辑与实现方法，从而极大降低了大数据编程的难度。其计算流程如下：

内存数据创建RDD

针对程序中已有的数据集合（List、Array、Tuple等），Spark提供了两个方法：parallelize和makeRDD，它们均可复制数据集合的元素后，创建一个可并行计算的分布式数据集RDD。parallelize方式适用于做简单的Spark程序测试、Spark学习；下面演示根据列表数据创建RDD：

scalavalnums=List(1,2,3,4,5)//包含5个整数的列表

nums:List[Int]=List(1,2,3,4,5)

scalavalnumsRDD=sc.parallelize(nums)//根据列表nums，创建一个RDD（numsRDD）

numsRDD:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[1]atparallelizeatconsole:26

scalavalcars=Array(比亚迪,长安,奇瑞,广汽)

cars:Array[String]=Array(比亚迪,长安,奇瑞,广汽)

scalavalcarsRDD=sc.parallelize(cars)//根据数组cars，创建一个RDD（carsRDD）

carsRDD:org.apache.spark.rdd.RDD[String]=ParallelCollectionRDD[2]atparallelizeatconsole:26

外部文件创建RDD

由文件创建RDD，采用sc.textFile(“文件路径”)方式，路径前面需要加入“file://”以表示本地文件（Spark-shell环境下，要求所有节点的相同位置均保存该文件）。现有本地文件“/home/hadoop/data/guide.txt”，借助textFile()方法，可以生成RDD，演示代码如下：

scalavalfileRDD=sc.textFile(file:///home/hadoop/data/guide.txt)//注意路径的写法

fileRDD:org.apache.spark.rdd.RDD[String]=file:///home/hadoop/data/guide.txtMapPartitionsRDD[11]attextFileatconsole:25

scalafileRDD.count()//使用count方法