大数据分析及应用项目教程(Spark SQL)（微课版） 实训单 实训2 Spark集群部署与使用.docx

实训2Spark集群部署与使用

一、实训目的与要求

1、掌握Spark集群安装配置方法。

2、会启动关闭Spark集群。

3、能使用Spark-shell进行简单编程测试。

4、会下载、安装配置Scala工具。

5、能启动Scala进行编程测试。

二、操作训练

1、Spark安装部署

（1）使用MobaXterm工具，将软件包上传至master节点的root目录下，然后将其解压到/usr/local目录中，修改名称。

操作结果截图+签名

（2）在.bash_profile文件中修改环境变量，并使其生效。

操作结果截图+签名

（3）修改Spark配置文件。

1）配置spark-env.sh文件

操作结果截图+签名

2）配置workers文件

操作结果截图+签名

（4）复制修改spark启动脚本，避免和hadoop的启动脚本冲突。

操作结果截图+签名

（5）分发Spark文件

1）分发Spark文件到slaver01节点

操作结果截图+签名

2）分发Spark文件到slaver02节点

操作结果截图+签名

（6）启动Spark

操作结果截图+签名

（7）查看各节点服务进程状态

操作结果截图+签名

（8）Web查看Spark主页情况

操作结果截图+签名

（9）Spark集群测试

1）使用spark-submit工具提交Spark作业

操作结果截图+签名

2）使用spark-sql，创建qzct数据库，创建名称为bigdata的表，包含字段有classid、classname。

操作结果截图+签名

3）使用sparkshell，进入paste模式，计算矩形面积。

操作结果截图+签名

2、Scala安装部署

（1）上传压缩包至master节点的/root目录下，并解压修改名称。

操作结果截图+签名

（2）配置环境变量，添加Scala相关配置

操作结果截图+签名

（3）使环境变量生效，查看Scala版本

操作结果截图+签名

（4）启动Scala

操作结果截图+签名