大数据分析及应用项目教程(Spark SQL)（微课版） 教案 许慧 单元4--6 房产大数据分析与探索---Zepplin数据可视化.docx

单元教学活动设计

二级学院

信息工程学院

专业

大数据技术

设计者

许慧

课程名称

大数据挖掘与分析

学年

学期

2

授课类型

□理论型，√理实一体型，□实践型

单元名称

单元4.房产大数据分析与探索

班级

大数据技术1、2

人数

教材来源

自编教材

授课学时

16

学生学习

条件分析

1.起点分析：

掌握Scala编程语言基础。

2.重点分析：

能使用RDD的各种转换和行动操作对数据集进行处理分析。

3.难点分析：

能灵活综合的应用各种RDD操作和各个算子对数据进行分析。

教学方法手段

1.教学方法：

讲授法、讨论法。

2.教学手段：

实例讲解演示。

教学资源

1.个人资源：教材、教学PPT与相关素材

2.学校资源：一体化教室、超星平台中的公共资源

3.网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站

能力指标

综合的应用各种RDD操作和各个算子C1

养成良好的自我管理素养B1

提升学生沟通交流、小组协作能力E2

教学目标

知识

1.掌握将数据构建为RDD的方法。

2.知道RDD各种算子的使用方法。

能力

1.能使用RDD的各种转换和行动操作对数据集进行处理分析。

2.能灵活综合的应用各种RDD操作和各个算子对数据进行分析。

素质

1.养成良好的自我管理素养

2.提升沟通交流、小组协作能力

教师课前准备

1.准备好一体化机房，保证机器正常运转，安装好软件。

2.准备好授课PPT，完成所有案例设计，熟练示范操作的过程。

3.设计学生要完成的任务。

4.设计好教学环节。

5.服装大方，自然得体。

学生课前准备

查阅资料，预习教材

活动历程

一、准备活动

1.活跃课堂气氛，学习通签到、点名。

二、发展活动

1．某房产公司销售人员业绩分析情境导入；

2．学习目标和要求；

3．数据集处理

基于内存（集合）创建RDD。

parallelize方法创建RDD

makeRDD方法创建RDD

从外部存储数据构造RDD

使用sc.textFile()方法进行创建。

操作练习——构建员工业绩RDD

三、课堂小结

RDD的创建方法小结。

——第1、2节结束——

一、准备活动

1.活跃课堂气氛，学习通签到、点名。

2.学习目标和要求。

二、发展活动

1.RDD支持的两种操作。

转换操作：就是对RDD中的数据进行各种转换。

行动操作：RDD的行动操作则是向驱动器程序返回结果或者把结果写入外部系统的操作，会触发实际的计算

2.统计部门人员人数

count()行动操作，返回的是RDD内元素的个数。

3.分别统计上/下半年业绩排名，取前三位及最后三位

map、flatmap、sortby、take，first、collect等方法。

map转换操作

map转换操作是最常用的转换算子，对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。

flatmap转换操作

此方法首先将map函数应用于RDD的所有元素，然后将返回的结果平坦化。

sortby转换操作

此方法是对RDD进行排序，有3个参数可以输入。

sortby(参数一,参数二,参数三)

参数一是要进行排序的对象值；

参数二是排序方式，默认是正序排序，使用false参数就是倒序排序；参数三是分区个数。

take，first、collect行动操作

进行分析，实现任务。

4.进行操作练习。

三、课堂小结

小结：本次课程学习重点，学习过程中出现的问题与解决方法。

——第3、4节结束——

一、准备活动

1.活跃课堂气氛，学习通签到、点名。

2.学习目标和要求。

二、发展活动

1.统计上/下半年业绩超过5000万的人员。

利用filter、distinct、union等方法对数据进行操作。

filter转换操作

此方法返回满足指定过滤条件的元素，不满足条件的元素被忽略。

distinct转换操作

此方法是对RDD中的数据去重，把完全相同的元素去除。对前述filter转换操作中的rdd数据进行操作。

union转换操作

此方法可以将两个RDD进行合并，返回两个RDD的并集，并且不去重。但是要求两个RDD中每个元素中的值的个数及数据类型保持一致。

进行分析，实现任务。

2.进行操作练习。

三、课堂小结

小结：本次课程学习重点，学习过程中出现的问题与解决方法。

——第5、6节结束——

一、准备活动

1.活跃课堂气氛，学习通签到、点名。

2.学习目标和要求。

二、发展活动

1.统计此部门当年的房屋销售套数。

利用RDD的相关描述性统计函数实现。

min()、max()函数

min()方法返回RDD中的最小值，max()方法返回R