Hadoop大数据技术与项目实战 实训指导书及代码资源 2.8 Kafka集群环境搭建及应用.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Kafka集群环境搭建

一、任务描述

Kafka是一种高吞吐量的分布式发布订阅消息系统，是Apache基金会开源的消息

队列，主要是对大数据平台起到缓冲和消峰的作用，通过Kafka能够保障实时数据采集

平台稳定运行。

本任务完成环境搭建，首先将Kafka安装包上传至node1节点中并解压安装，配置

Kafka环境变量，接下来修改Kafka配置文件，最后启动Kafka服务。

二、能力目标

能正确搭建Kafka环境

三、任务准备

1.Xshell软件，Xftp软件

2.启动Zookeeper集群

3.kafka_2.12-2.7.0.tgz

四、任务实施

1.上传Kafka安装包

使用Xftp软件将kafka安装包kafka_2.12-2.7.0.tgz上传至node1节点的

/opt/software目录。

2.安装Kafka

通过解压缩的方式安装Kafka，使用如下命令将Kafka安装到/opt/module目录。

[bigdata@node1software]$tar-zxvfkafka_2.12-2.7.0.tgz-C/opt/module/

1

山西职业技术学院《Hadoop大数据技术与项目实战》

3.配置Kafka环境变量

执行以下命令打开系统环境变量文件profile。

[bigdata@node1module]$sudovim/etc/profile

对该文件进行编辑，在文件末尾添加以下两行配置信息，配置Kafka的安装目录及

bin目录，添加完毕后保存并退出。

exportKAFKA_HOME=/opt/module/kafka_2.12-2.7.0

exportPATH=$PATH:$KAFKA_HOME/bin

执行source命令初始化系统环境变量，使配置内容生效。

[bigdata@node1module]$source/etc/profile

4.修改Kafka配置文件

在node1节点/opt/module/kafka_2.12-2.7.0目录下，创建logs文件夹，用来存放

Kafka运行过程的日志信息。

[bigdata@node1software]$cd/opt/module/kafka_2.12-2.7.0/

[bigdata@node1kafka_2.12-2.7.0]$mkdirlogs

使用Notepad++软件连接node1节点，进入/opt/module/kafka_2.12-2.7.0/config

目录，双击打开perties文件，按照以下要求修该文件，修改完成后保存并退

出。

第21行修改配置信息如下。

broker.id=0

第24行添加配置信息如下。

delete.topic.enable=true

第60行修改配置信息如下。

log.dirs=/opt/module/kafka_2.12-2.7.0/logs

2

山西职业技术学院《Hadoop大数据技术与项目实战》

第123行修改配置信息如下。

zookeeper.connect=node1:2181,node2:2181,node3:2181

5.配置node2、node3节点的Kafka环境

（1）分发Kafka相关文件

为了快速Kafka集群，可以将node1节点中的Kafka安装目录发至node2和node3

节点，操作如下。

切换到node1节点/opt/module目录，将kafka_2.12-2.7.0文件夹分发到

node2,node3节点的相同路径中，执行如下命令完成发送。

[bigdata@node1module]$scp-rkafka_2.12-2.7.