Hadoop大数据技术与项目实战 实训指导书——2.3.3 HDFS集群配置.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

HDFS集群配置

一、任务描述

HDFS集群规划在分布式集群中，每一个节点都会部署多个服务，所以我们需要对

三个节点进行HDFS集群服务进行规划。配置完毕，启动HDFS集群后，node1节点运

行NameNode、DataNode2个服务，node2节点运行DataNode1个服务，node3节

点运行SecondaryNameNode和DataNode2个服务。

二、能力目标

1.熟悉HDFS集群规划

2.熟练配置HDFS集群

三、任务准备

1.Xshell软件、Xftp软件

2.hadoop-3.3.0.tar.gz

四、任务实施

1.安装Hadoop

（1）将node1节点的/opt文件夹的用户权限修改为bigdata用户。

[bigdata@node1~]$cd/

[bigdata@node1/]$sudochown-Rbigdata:bigdata/opt

（2）在node1节点中切换到/opt/software目录，使用Xftp软件将Hadoop安装包

上传到node1节点的software目录下，通过解压缩的方式安装Hadoop。

[bigdata@node1/]$cd/opt/software/

1

山西职业技术学院《Hadoop大数据技术与项目实战》

[bigdata@node1software]$tar-zxvfhadoop-3.3.0.tar.gz-C/opt/module

（3）切换到Hadoop安装目录，查看安装目录下有bin目录、etc目录、sbin目录，

share目录。

[bigdata@node1software]$cd/opt/module/hadoop-3.3.0/

[bigdata@node1hadoop-3.3.0]$ll

bin目录存放Hadoop的二进制可执行文件，etc目录存放Hadoop的配置文件，

sbin目录存放Hadoop集群可执行二进制文件，share目录存放Hadoop配置第三

方jar包的依赖环境。

2.配置Hadoop环境变量文件

（1）编辑系统环境变量配置文件。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

[bigdata@node1hadoop-3.3.0]$sudovim/etc/profile

创建一个HADOOP_HOME变量，然后将HADOOP_HOME变量路径下的bin目录赋

值给PATH变量。

exportHADOOP_HOME=/opt/module/hadoop-3.3.0

exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（2）生效系统环境变量配置文件

[bigdata@node1hadoop-3.3.0]$source/etc/profile

3.使用Notepad++软件对Hadoop的核心配置文件进行配置

(1)打开Notepad++软件，单击标题栏中的“Plugins”按钮，选择“NppFTP”，选择“S

howNppFTPWindow”。在右侧单击设置按钮，选择“Profilesettings”，在弹框中左侧“P

3

山西职业技术学院《Hadoop大数据技术与项目实战》

rofiles”下面单击“Addnew”按钮，创建一个新的配置链接。填写“node1”名字后单击OK

按钮，在“Hostname”中填写node1的IP地址，在“Connectiontype”中选择SFTP，“Por

t”修改为22端口，“Username”中填写bigdata，“