Spark 大数据技术 课程教学大纲.docx

PAGE

PAGE8

字体、字号请参考范例注意：首字母大写植物拉丁学名斜体《

字体、字号请参考范例

注意：

首字母大写

植物拉丁学名斜体

一、课程简介

课程中文名

Spark大数据技术

课程英文名

SparkBigDataTechnology

双语授课

￡是￡否

课程代码课程学分

2.5

总学时数

60

课程类别

□专业基础课程

?专业核心课程

□专业选修课程

□其他

课程性质

?必修

□选修

￡其他

课程形态

□线上

?线下

□线上线下混合式

□社会实践

□虚拟仿真实验教学

考核方式

□闭卷□开卷□课程论文?课程作品?汇报展示￡报告

?课堂表现□阶段性测试?平时作业□其他（可多选）

开课学院

大数据与智能工程学院

开课

系(教研室)

数据科学与大数据技术

面向专业

数据科学与大数据技术

开课学期

第5学期

先修课程

Hadoop大数据技术

后续课程

无

选用教材

林子雨.Spark编程基础（Scala版）.人民邮电出版社,2022年.

参考书目

1.肖芳，张良均.Spark大数据技术与应用.人民邮电出版社,2018年.

2.刘彬斌，李柏章等.Hadoop+Spark大数据技术.\o清华大学出版社清华大学出版社,2018年.

课程资源

大数据spark精选全集视频教程.网易云课堂.

课程简介

Spark大数据技术是数据科学与大数据技术专业必修的一门综合实践性课程，旨在让学生掌握Spark这一主流的大数据技术和工具，具备快速处理大数据的能力。课程内容包括Scala函数式编程的基本语法、Spark环境搭建、SparkShell命令、Spark相关术语、RDD概念、RDD的转换操作和行动操作、SparkSQL概念等，同时还包括Spark大数据技术的实践分析等。通过该课程学习，学生能够掌握Spark框架的搭建、配置和使用，以及利用RDD和SparkSQL处理不同类型大数据，并对其进行分析处理的能力。

二、课程目标

表2-1课程目标

序号

具体课程目标

课程目标1

能够应用数学、自然科学、大数据处理框架Spark的理论与方法，以及计算机及软件工程等相关领域的专业知识、技能与工具，设计针对数据分析问题的解决方案，解决大数据分析过程中所面临的复杂工程问题，并能够在设计环节中体现创新意识。

课程目标2

能够应用大数据处理框架Spark的基本原理，在数据分析的构思与设计阶段，通过文献研究、实验试验、工程推理、数学建模等方法，识别、表达、分析复杂数据分析问题及其解决方法、识别和判断数据分析问题的关键环节和参数，已获得分析模型、工程知识库等有效结论。

课程目标3

能够针对实时数据分析处理过程中涉及的复杂工程问题，选择和使用恰当的分析处理工具，进行信息处理、表达、建模、设计、模拟、验证，并能够在实践中了解国内主流的数据实时处理平台在各个应用中的优势和局限性；树立使用国产软件、保护版权的意识，激发民族自豪感；坚持自主创新，为建设世界科技强国而奋斗。

表2-2课程目标与毕业要求对应关系

毕业要求

指标点

课程目标

毕业要求1：能够将数学、自然科学、工程基础、数据科学与大数据技术专业知识用于解决大数据应用领域的复杂工程问题。【H】

1.1能够掌握数学、自然科学、工程基础和专业知识，用于大数据应用领域相关工程问题的表述。

课程目标1

毕业要求3：能够针对大数据应用领域的复杂工程问题，综合应用数据科学与大数据技术基本原理和方法，设计、开发满足特定应用需求的系统方案，并能够在设计环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等多维度协同发展因素。【M】

3.3能够综合考虑社会、健康、安全、法律、文化以及环境因素，并能够进行系统测试、维护或优化升级。

课程目标3

毕业要求4：能够基于数据科学与大数据技术的相应原理，采用科学方法对大数据应用领域中的复杂工程问题进行研究，制定技术路线、设计实验方案并开展实验，通过实验分析得到合理有效的结论。【H】

4.1能够综合应用数据科学与大数据技术基本原理，针对大数据应用领域复杂工程问题，通过文献研究、调研和分析，设计合适的解决方案。

课程目标2

三、课程教学内容与方法

表3课程目标、教学内容和方法对应关系

序号

项目名称

项目来源

教学目标（观测点、重难点）

学时数

项目类型

要求

每组人数

教学方法

课程目标

1

项目1：Scala函数式编程

实验教材

掌握Scala基本语法

12

验证性

必做

1

课堂讲授

实验指导

课程目标1

完成Scala安装搭建实验环境

掌握Scala常用的集合操作（重点）

掌握Scala函数式编程（难点）

2

项目2：初识