大数据分析及应用项目教程(Spark SQL)（微课版） 实训单汇总 许慧 实训1--10 Hadoop集群环境搭建--- Zepplin数据可视化案例分析.docx

实训1Hadoop集群环境搭建

一、实训目的与要求

1、掌握Hadoop集群环境搭建的环境准备工作，包括配置主机名、防火墙设置、免密登录设置、Java环境设置。

2、掌握安装Hadoop的过程、配置文件设置及启动集群的方法。

3、会在Hadoop集群运行经典案例wordcount。

二、操作训练

1、环境准备

主机名

IP地址

角色

xxmaster

192.168.128.130

ResourceManager

SecondaryNameNode

NameNode

DataNode

NodeManager

xxslave01

192.168.128.131

DataNode

NodeManager

xxslave02

192.168.128.132

DataNode

NodeManager

xx为姓名缩写

从BaseNode链接克隆3个虚拟机

（1）配置主机名、IP

配置xxmaster主机名、IP

操作结果截图+签名

配置xxslave01主机名、IP

操作结果截图+签名

配置xxslave02主机名、IP

操作结果截图+签名

（2）关闭防火墙

关闭xxmaster主机防火墙，并设置开机不自启

操作结果截图+签名

关闭xxslave01主机防火墙，并设置开机不自启

操作结果截图+签名

关闭xxslave02主机防火墙，并设置开机不自启

操作结果截图+签名

（3）关闭SElinux

关闭xxmaster主机SElinux

操作结果截图+签名

关闭xxslave01主机SElinux

操作结果截图+签名

关闭xxslave02主机SElinux

操作结果截图+签名

（4）修改/etc/hosts文件

修改xxmaster主机/etc/hosts文件

操作结果截图+签名

修改xxslave01主机/etc/hosts文件

操作结果截图+签名

修改xxslave02主机/etc/hosts文件

操作结果截图+签名

（5）配置免密登录

在xxmaster创建公钥和私钥

操作结果截图+签名

拷贝公钥到xxmaster

操作结果截图+签名

拷贝公钥到xxslave01

操作结果截图+签名

拷贝公钥到xxslave02

操作结果截图+签名

（6）配置Java环境

配置xxmaster主机Java环境

操作结果截图+签名

配置xxslave01主机Java环境

操作结果截图+签名

配置xxslave02主机Java环境

操作结果截图+签名

2、安装hadoop

在xxmaster主机修改hadoop的配置文件

配置hadoop-env.sh

操作结果截图+签名

配置core-site.xml

操作结果截图+签名

配置hdfs-site.xml

操作结果截图+签名

配置mapred-site.xml

操作结果截图+签名

配置yarn-site.xml

操作结果截图+签名

配置workers

操作结果截图+签名

分发hadoop文件

分发hadoop程序给xxslave01

操作结果截图+签名

分发hadoop程序给xxslave02

操作结果截图+签名

格式化HDFS文件系统

操作结果截图+签名

3、启动Hadoop集群

在xxmaster启动Hadoop集群

操作结果截图+签名

在xxmaster确认

操作结果截图+签名

在xxslave01确认

操作结果截图+签名

在xxslave02确认

操作结果截图+签名

4、网页确认

YARN画面

操作结果截图+签名

HDFS画面

操作结果截图+签名

5、运行wordcount例子

运行

操作结果截图+签名

查看结果

操作结果截图+签名

实训2Spark集群部署与使用

一、实训目的与要求

1、掌握Spark集群安装配置方法。

2、会启动关闭Spark集群。

3、能使用Spark-shell进行简单编程测试。

4、会下载、安装配置Scala工具。

5、能启动Scala进行编程测试。

二、操作训练

1、Spark安装部署

（1）使用MobaXterm工具，将软件包上传至master节点的root目录下，然后将其解压到/usr/local目录中，修改名称。

操作结果截图+签名

（2）在.bash_profile文件中修改环境变量，并使其生效。

操作结果截图+签名

（3）修改Spark配置文件。

1）配置spark-env.sh文件

操作结果截图+签名

2）配置workers文件

操作结果截图+签名

（4）复制修改spark启动脚本，避免和hadoop的启动脚本冲突。

操作结果截图+签名

（5）分发Spark文件

1）分发Spark文件到slaver01节点

操作结果截图+签名

2）分发Spark文件到slaver02节点

操作结果截图+签名

（6）启动Spark

操作结果截图+签名

（7）查看各节点服