大数据分析及应用项目教程(Spark SQL)（微课版） 授课计划 .doc

学期授课计划

课程名称：大数据挖掘与分析

二级学院：信息工程学院专业：大数据技术

年级：班次：；

年2月13日~年6月19日

课内总学时：64

讲课：32

实验：0

上机：32

实践环节名称：共周

教材名称：

编者：出版社：

出版年份：优秀（重点）教材：

授课教师：主讲：许慧

辅导：许慧

教研室主任：

年3月13日填写

周次

星期

授课内容提要

时数

教辅活动

备注

1

1.1关于大数据分析

1.1.1什么是大数据分析

1.1.2大数据分析工具

1.1.3大数据分析可视化

2

预警辅导答疑解惑

720办公室或者理北机房

1.2认识SparkSQL

1.2.1SparkSQL背景简介

1.2.2SparkSQL运行原理

2

预警辅导答疑解惑

720办公室或者理北机房

2

2.1Hadoop集群环境搭建

2.1.1环境准备

2.1.2安装Hadoop

2.1.3启动Hadoop集群

2.1.4运行经典案例wordcount

2

预警辅导答疑解惑

720办公室或者理北机房

2.2Spark集群部署与使用

2.2.1Spark安装

2.2.2启动Spark

2.2.3Spark集群测试

2

预警辅导答疑解惑

720办公室或者理北机房

3

2.3Scala安装

3.1.1下载安装包

3.1.2安装配置

2

预警辅导答疑解惑

720办公室或者理北机房

3.1班级基本情况分析

3.1.1学生所属班级和男女生数量

Scala数据类型、常量与变量、运算符、数组

2

预警辅导答疑解惑

720办公室或者理北机房

4

Scala判断与循环

2

预警辅导答疑解惑

720办公室或者理北机房

Scala函数式编程

案例分析——学生所属班级和男女生数量

2

预警辅导答疑解惑

720办公室或者理北机房

5

3.1.2以班级为单位整理学生信息

Scala列表与Set集合

2

预警辅导答疑解惑

720办公室或者理北机房

Scala元组与Map映射

2

预警辅导答疑解惑

720办公室或者理北机房

6

Scala函数组合器

2

预警辅导答疑解惑

720办公室或者理北机房

3.2学生基本情况获取

3.2.1学生特长情况

Scala类和对象

Scala模式匹配

2

预警辅导答疑解惑

720办公室或者理北机房

7

3.2.2学生成绩情况分析

2

预警辅导答疑解惑

720办公室或者理北机房

4.1某房产公司销售人员业绩分析

4.1.1数据集处理

RDD的创建方法

2

预警辅导答疑解惑

720办公室或者理北机房

8

4.1.2数据操作分析

RDD的操作（一）

count、map、flatmap、sortby、take，first、collect

2

预警辅导答疑解惑

720办公室或者理北机房

RDD的操作（二）

filter、distinct、union

2

预警辅导答疑解惑

720办公室或者理北机房

9

RDD的操作（三）

min()、max()、mean()、sum()、variance()、stdev()函数

2

预警辅导答疑解惑

720办公室或者理北机房

PairRDD的操作（一）

创建PairRDD、keys()、values()转换操作

reducebykey()

2

预警辅导答疑解惑

720办公室或者理北机房

10

PairRDD的操作（二）

groupbykey()、sortByKey()转换操作

数据结果存储方法

2

预警辅导答疑解惑

720办公室或者理北机房

4.2某城市近年房产销售状况分析

4.2.1数据准备

4.2.2数据探索与分析（一）

2

预警辅导答疑解惑

720办公室或者理北机房

11

数据探索与分析（二）

4.2.3总结分析

2

预警辅导答疑解惑

720办公室或者理北机房

5.1女装电子商务评论情况分析

5.1.1数据准备

5.1.2数据清洗

drop(cols)、dropD