Spark大数据分析实务 教案 项目2 Spark大数据环境安装搭建 .docx

项目2Spark大数据环境安装搭建

教案

课程名称：Spark大数据技术实务

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论32学时，实验32学时）

总学分：4.0学分

本章学时：6学时

材料清单

《Spark大数据技术实务》教材。

配套PPT。

引导性提问。

探究性问题。

拓展性问题。

教学目标与基本要求

教学目标

主要介绍Hadoop框架、Hadoop生态系统中Hive和Spark组件的基础知识。首先介绍了Hadoop的发展历程、特点、生态系统等。接着详细介绍了Hadoop生态系统中的Hive和Spark组件，包括组件的简介、特点、应用场景等内容。最后安装搭建了3节点的Hadoop分布式集群，基于Hadoop大数据平台，安装部署了数据仓库Hive、3节点的Spark集群，为后续广告流量违规检测案例的数据处理、模型构建提供技术工具。

基本要求

了解Hadoop框架的历程、特点、生态系统、应用场景。

了解Hive的特点、应用场景以及Hive与关系数据库的区别。

了解Spark的发展历程、特点、生态系统、应用场景。

熟悉Hadoop框架和Spark的架构组成。

能够理解Hadoop、Hive、Spark组件的作用。

能够完成Hadoop集群、Hive和Spark集群的搭建与配置。

问题

引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

Hadoop集群可以在一台电脑上搭建吗？

如何将Linux系统搭建在Windows机器上？

Hadoop集群选择搭建在Linux系统中比Windows系统要好吗？

Spark和Hadoop的关联性是什么？

探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

Hadoop集群一般需要几个机器节点，Hadoop的拓扑怎么解释？

设置固定IP有什么作用？

Spark集群搭建时需要修改什么配置文件？配置的内容包括什么？

拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

Hive的元数据一定要存放在MySQL数据库中吗？还有什么选择？

如何更新Hive配置，实现在slave1节点连接Hive服务？

根据Spark的安装配置过程，如果想要为Spark集群多加一个子节点，需要进行哪些操作？

主要知识点、重点与难点

主要知识点

Hadoop的发展历程。

Hadoop的特点。

Hadoop生态系统。

Hadoop的应用场景。

Hive简介。

Hive的特点。

Hive的应用场景。

Hive与关系数据库的区别。

Spark简介。

Spark的发展历程。

Spark的特点。

Spark生态系统。

Spark的应用场景。

安装搭建Hadoop集群。

安装搭建Hive。

安装搭建Spark集群。

重点

安装搭建Hadoop集群。

安装搭建Hive。

安装搭建Spark集群。

难点

安装搭建Hadoop集群。

安装搭建Hive。

安装搭建Spark集群。

教学过程设计

理论教学过程

Hadoop的发展历程。

Hadoop的特点。

Hadoop生态系统。

Hadoop的应用场景。

Hive简介。

Hive的特点。

Hive的应用场景。

Hive与关系数据库的区别。

Spark简介。

Spark的发展历程。

Spark的特点。

Spark生态系统。

Spark的应用场景。

实践教学过程

创建Linux虚拟机。

设置固定IP地址。

远程连接虚拟机。

配置本地yum源及安装常用软件。

在Linux系统下安装Java。

修改配置文件。

克隆虚拟机。

配置SSH免密登录。

配置时间同步服务。

添加地址映射。

启动关闭集群。

安装MySQL。

下载和安装Hive。

修改Hive配置文件。

设置环境变量。

初始化元数据库与启动Hive。

解压并配置Spark集群。

启动Spark集群。

查看Spark监控服务。

教材与参考资料

教材

郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．

参考资料

[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．

[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．

[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．