大数据分析及应用项目教程(Spark SQL)（微课版） 实训单 实训1 Hadoop集群环境搭建.docx

实训1Hadoop集群环境搭建

一、实训目的与要求

1、掌握Hadoop集群环境搭建的环境准备工作，包括配置主机名、防火墙设置、免密登录设置、Java环境设置。

2、掌握安装Hadoop的过程、配置文件设置及启动集群的方法。

3、会在Hadoop集群运行经典案例wordcount。

二、操作训练

1、环境准备

主机名

IP地址

角色

xxmaster

192.168.128.130

ResourceManager

SecondaryNameNode

NameNode

DataNode

NodeManager

xxslave01

192.168.128.131

DataNode

NodeManager

xxslave02

192.168.128.132

DataNode

NodeManager

xx为姓名缩写

从BaseNode链接克隆3个虚拟机

（1）配置主机名、IP

配置xxmaster主机名、IP

操作结果截图+签名

配置xxslave01主机名、IP

操作结果截图+签名

配置xxslave02主机名、IP

操作结果截图+签名

（2）关闭防火墙

关闭xxmaster主机防火墙，并设置开机不自启

操作结果截图+签名

关闭xxslave01主机防火墙，并设置开机不自启

操作结果截图+签名

关闭xxslave02主机防火墙，并设置开机不自启

操作结果截图+签名

（3）关闭SElinux

关闭xxmaster主机SElinux

操作结果截图+签名

关闭xxslave01主机SElinux

操作结果截图+签名

关闭xxslave02主机SElinux

操作结果截图+签名

（4）修改/etc/hosts文件

修改xxmaster主机/etc/hosts文件

操作结果截图+签名

修改xxslave01主机/etc/hosts文件

操作结果截图+签名

修改xxslave02主机/etc/hosts文件

操作结果截图+签名

（5）配置免密登录

在xxmaster创建公钥和私钥

操作结果截图+签名

拷贝公钥到xxmaster

操作结果截图+签名

拷贝公钥到xxslave01

操作结果截图+签名

拷贝公钥到xxslave02

操作结果截图+签名

（6）配置Java环境

配置xxmaster主机Java环境

操作结果截图+签名

配置xxslave01主机Java环境

操作结果截图+签名

配置xxslave02主机Java环境

操作结果截图+签名

2、安装hadoop

在xxmaster主机修改hadoop的配置文件

配置hadoop-env.sh

操作结果截图+签名

配置core-site.xml

操作结果截图+签名

配置hdfs-site.xml

操作结果截图+签名

配置mapred-site.xml

操作结果截图+签名

配置yarn-site.xml

操作结果截图+签名

配置workers

操作结果截图+签名

分发hadoop文件

分发hadoop程序给xxslave01

操作结果截图+签名

分发hadoop程序给xxslave02

操作结果截图+签名

格式化HDFS文件系统

操作结果截图+签名

3、启动Hadoop集群

在xxmaster启动Hadoop集群

操作结果截图+签名

在xxmaster确认

操作结果截图+签名

在xxslave01确认

操作结果截图+签名

在xxslave02确认

操作结果截图+签名

4、网页确认

YARN画面

操作结果截图+签名

HDFS画面

操作结果截图+签名

5、运行wordcount例子

运行

操作结果截图+签名

查看结果

操作结果截图+签名