《大数据技术基础》课件——Kafka.pptxVIP

Kafka简介;消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。?分布式消息传递基于可靠消息队列的概念。?消息在客户端应用程序和消息传递系统之间异步排队。?有两种类型的消息模式可用-一种是点对点，另一种是发布-订阅(pub-sub)消息系统。?;什么是消息系统;ApacheKafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。?Kafka适合离线和在线消息消费。?Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。?Kafka构建在ZooKeeper同步服务之上。?它与ApacheStorm和Spark可以非常好地集成，用于实时流式数据分析。;可靠性-Kafka是分布式，分区，复制和容错的。

可扩展性-Kafka消息传递系统轻松缩放，无需停机。

分布式-日志的分区partition（分布）在Kafka集群的服务器上。

耐用性-Kafka使用分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。

性能-Kafka对于发布和订阅消息都具有高吞吐量。即使存储了许多TB的消息，它也保持稳定的性能。;Kafka架构;Kafka核心概念;Kafka数据流;Kafka数据流;Kafka安装配置-JDKZookeeper;Ubuntu16，1CPU，1GMemory，10GDisk，VirtualSystem

Hostname:

IPAddress:00

User/Pass:jacob/jacob

Linux连接工具

;下载JDK安装包并上传到Ubuntu

下载Zookeeper并上传到Ubuntu;1.解压缩：tar–zxf

2.修改配置文件：sudovim/etc/profile

3.使配置文件生效:source/etc/profile

5.检查;1.解压缩：tar–zxf

2.修改配置文件：sudovim/etc/profile

3.使配置文件生效:source/etc/profile

5.修改Zookeeper配置文件;1.ls

2.create/set

3.get

4.delete;Kafka安装配置-单代理配置及操作;Ubuntu16，1CPU，1GMemory，10GDisk，VirtualSystem

JDK

Zookeeper;1.下载Kafka安装包

2.解压安装包

3.修改配置文件

;Kafka常用操作;1.Producer创建Topic

bin/kafka-console-producer.sh--broker-listnode100:9092--topicHello_World

;1.Consumer读取Topic

bin/kafka-console-consumer.sh--bootstrap-servernode100:9092--topicHello_World--from-beginning;Kafka安装配置–多代???配置及操作;1台Ubuntu配置多个Brokers

3台Ubuntu配置多个Brokers，每台Ubuntu一个Broker;三台Ubuntu16，1CPU，1GMemory，10GDisk，VirtualSystem

Hosts：node100,node101,node102

全部配置JDK

配置Zookeeper集群;1.克隆node100到node101,node102

2.修改机器名和IP配置

;1.修改zoo.cfg配置文件

2.修改myid配置文件

3.启动;1.修改perties配置文件

2.清空data目录

3.启动;1.创建Topic(2partitions2replication-factor)

bin/kafka-topic.sh--bootstrap-servernode100:9092--partitionsinteger--replication-factorinteger--topictopic-name

;1.创建Topic(2partitions3replication-factor)

bin/kafka-topic.sh--bootstrap-servernode100:9092--partitionsinteger--replication-factor