课程标准 - spark大数据技术.doc

大数据应用专业 Spark大数据技术与应用课程标准 一、基本信息 1.课程名称：Spark大数据技术与应用 2.课程编码： 3.适应对象：三年制大数据应用专业 4.总学时：64学时 5.学分：5 6.教学条件：一体化教室、武汉伟创聚赢科技有限公司 7.建设团队：共有教师x人，专职讲师x人 8.审定机构：教务处 9.审定日期： 二、课程理念 1.课程定位 本课程是为大数据技术类相关专业学生开设的课程。Spark继承了MapReduce分布式计算的优点并改进了MapReduce明显的缺陷。Spark拥有Hadoop MapReduce所具有的优点，但不同于MapReduce，Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFS的次数，因此Spark能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark在企业中的运用越来越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。 2.课程改革理念 大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark的诞生弥补了MapReduce的缺陷。 3.课程设计思路 本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。 要求学生自主搭建Spark集群、完成章节任务、掌握基本理论和提升专业能力。在每章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。 三、课程目标 1.总目标 通过本课程的学习，使学生对Spark分布式计算框架有一个全面的理解，课程内容主要包括了Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark代表组件，完整项目案例等精选内容。涉及的知识点简要精到，实践操作性强。 2. 具体目标 （1）知识目标 1.了解Spark概念 2掌握如何搭建Spark分布式环境 3掌握Spark RDD的概念 4了解Spark的运行流程和原理 5掌握RDD的转化操作和行动操作方法 6掌握键值对RDD的操作 7掌握文本文件的读取和存储 （2）能力目标 1掌握如何在IDEA中配置Spark编程环境 2掌握Spark程序的编写 3掌握Spark SQL使用方法 4掌握Spark Streaming使用方法 5掌握Spark GraphX使用方法 6掌握Spark MLlib使用方法 7学习ALS算法 8掌握MLlib算法包的使用 （3）素质目标 ①学生自主探究学习状态 ②学生合作学习状态 ③学生的自我感受 (共鸣度、愉悦度、价值度) ④与人合作的积极性 四、课程教学内容 本课程由8个教学项目组成，课程具体教学内容见表1。 表1 课程教学内容一览表 序号 项目/模块/任务 教学内容/任务 教学/学习目标 教学活动设计 教学资源 学习地点 学时 1 Spark基础知识 Spark概述 Spark基本概念 Spark发展和应用 Spark环境配置方法 Spark架构及原理 了解Spark概念 掌握如何搭建Spark分布式环境 掌握Spark RDD的概念 了解Spark的运行流程和原理 课件、教案、素材、教学环境、实践项目 实训机房 4 2 Spark编程 从内存中已有数据创建RDD 从外部存储创建RDD RDD转化操作和行动操作方法 RDD键值对操作 文件读取与存储 掌握RDD的转化操作和行动操作方法 掌握键值对RDD的操作 掌握文本文件的读取和存储 课件、教案、素材、教学环境、实践项目 实训机房 8 3 Spark编程进阶 下载与安装IntelliJ IDEA Scala插件安装与使用 配置Spark运行环境的方法 运行Spark程序的方法 持久化方法 数据分区方法 掌握如何在IDEA中配置Spark编程环境 掌握Spark程序的编写 课件、教案、素材、教学环境、实践项目 实训机房 10 4 Spark SQL：结构化数据文件处理 Spark SQL简介 Spark SQL CLI配置 Spark SQL与Shell交互 DataFrame基础操作方法 掌握Spark SQL使用方法 课件、教案、素材、教学环境、实践项目 实训机房 8 5 Spark Streaming：实时计算框架 Spark Streaming运行原理 Spark Streaming使用方法 DS