Spark大数据技术综合实训 课程教学大纲.docx

PAGE

PAGE3

字体、字号请参考范例注意：首字母大写植物拉丁学名斜体《

字体、字号请参考范例

注意：

首字母大写

植物拉丁学名斜体

一、课程简介

课程中文名

Spark大数据技术综合实训

课程英文名

ComprehensiveTrainingofSparkBigDataTechnology

双语授课

￡是?否

课程代码课程学分

2

周（学时）

2周

课程类别

□专业认知实习

□专业见习

?工程实训

□毕业实习

□其他

课程性质

?必修

□选修

□其他

课程形态

□线上

?线下

□线上线下混合式

□社会实践

□虚拟仿真实验教学

考核方式

□闭卷□开卷□课程论文□课程作品￡汇报展示?报告

□课堂表现□阶段性测试□平时作业□其他（可多选）

开课学院

大数据与智能工程学院

开课

系(教研室)

数据科学与大数据技术

面向专业

数据科学与大数据技术

开课学期

第5学期

先修课程

数据采集与预处理、Hadoop大数据技术

后续课程

选用教材

林子雨.Spark编程基础（Scala版）.人民邮电出版社,2022年.

参考书目

1.肖芳，张良均.Spark大数据技术与应用.人民邮电出版社,2018年.

2.刘彬斌，李柏章等.Hadoop+Spark大数据技术.\o清华大学出版社清华大学出版社,2018年.

课程资源

1.大数据spark精选全集视频教程.网易云课堂.

课程简介

Spark大数据技术综合实训是数据科学雨大数据技术专业必修的综合实践课程。该课程内容主要包括Spark大数据框架的搭建及其工作流程，RDD高级特性，SparkSession，DataFrameg概念及其持久化操作，SparkStreaming，Spark监控与优化等。使学生能够选择不同的Spark组件和技术方法，解决国内主流的大数据应用场景中存在的问题。

二、课程目标

表2-1课程目标

序号

具体课程目标

课程目标1

能够应用计算机和软件工程、操作系统等领域知识，分析和评价大数据相关的工程实践和复杂工程问题的解决方案对社会、健康、安全、法律以及文化的潜在影响，以及这些因素对项目实施的影响，并理解应承担的责。

课程目标2

能够应用Spark的理论与方法、技能与工具，设计出针对Spark框架问题的解决方案，解决Spark框架搭建过程中的问题，并具有健全的人格和健康的身心，具备一定的人际交往能力，能够胜任团队成员的角，与团队其他成员有效合作，并能承担相应责任。

课程目标3

能够针对大数据挖掘，大数据系统开发过程中涉及的复杂工程问题，选择和使用恰当的大数据处理技术和工具，进行信息处理、表达、建模、设计、模拟、验证，并能够在实践中了解国内主流的Spark框架在各个应用中的优势和局限性；树立使用国产软件、保护版权的意识，激发民族自豪感；坚持自主创新，为建设世界科技强国而奋斗。

表2-2课程目标与毕业要求对应关系

毕业要求

指标点

课程目标

毕业要求6：基于大数据应用领域相关背景知识，能够合理分析和评价大数据应用实践和复杂工程问题解决方案对社会、健康、安全、法律以及文化的影响，并理解应承担的责任。【H】

6.2能够分析和评价大数据相关的工程实践和复杂工程问题的解决方案对社会、健康、安全、法律以及文化的潜在影响，以及这些因素对项目实施的影响，并理解应承担的责。

1

毕业要求9：具有良好的综合素质，能够在多学科背景下的团队中理解与承担个体、团队成员以及负责人角色，并发挥相应的作用。【M】

9.1具有健全的人格和健康的身心，具备一定的人际交往能力，能够胜任团队成员的角，与团队其他成员有效合作，并能承担相应责任。

2

毕业要求11：能够理解并掌握工程管理与经济决策方法，熟悉大数据应用领域工程项目管理的基本方法和技术，并能在多学科环境中应用。【M】

11.2在多学科背景下，将大数据工程项目方案设计中涉及的时间及成本管理、质量及风险管理、人力资源管理等问题进行最优求。

3

三、教学内容及要求

（一）学习内容

通过本次课程设计，进一步掌握和应用Spark分布式计算框架及其相关组件的知识，需掌握的内容包括：

Spark高级应用：

RDD的内部表现形式，RDD持久化操作，CheckPoint检查点机制?原理。

RDD内部特性，包括：RDD分区案例、RDD依赖关系案例、RDD首选位置案例、RDD分区函数案例。

RDD持久化操作案例、RDD?CheckPoint操作案例，查看其依赖图。

案例：PageRank网页排名。

Spark作业的执行原理和Shuffle详解，并介绍共享变量的概念。

Spark累加器、广播变量

案例：求共同