Kafka分布式消息系统.docx

Kafka分布式消息系统Kafka分布式消息系统11 Windows安装kafka51.1 安装JDK51.2 安装Zookeeper51.3 安装并运行Kafka71.4 启动关闭91.5 创建topics91.6 打开一个Producer101.7 打开一个Consumer101.8 遇到的问题112 配置zookeeper122.1 下载必威体育精装版122.2 安装122.3 启动122.4 停用122.5 客户端连接132.6 集群132.7 配置ip142.8 启动142.9 同步测试152.10 参考163 kafka163.1 kafka介绍173.2 名词解释173.3 Kafka 安装183.4 配置zookeeper183.5 配置kafka193.6 外网访问配置223.7 启动Kafka223.8 检测是否启动223.9 停用233.10 创建topic233.11 查看topic list243.12 查看topic 描述243.13 ?删除Topic?253.14 开启生产者253.15 开启消费者263.16 单机连通性测试263.17 搭建多个broker的伪集群273.18 修改hosts284 Kafka 集群284.1 修改配置文件284.2 启动服务294.3 检查服务是否启动304.4 创建topic304.5 列出已创建的topic列表304.6 创建3个副本的集群314.7 模拟客户端去发送消息314.8 模拟客户端去接受消息314.9 参考325 Kafka 例子(java)325.1 kafka群集环境325.2 添加maven依赖335.3 生产者java代码345.4 消费者代码355.5 Log4j配置文件365.6 云盘源码下载385.7 参考386 kafka与spring集成386.1 工程结构386.2 增加maven 依赖396.3 添加生产者spring配置426.4 添加消费者spring配置文件436.5 perties446.6 生产者代码456.7 添加kafka消费监听器476.8 消费者代码476.9 源代码下载地址497 kafka集群管理工具497.1 kafka-manager 简介497.2 下载安装 kafka-manager507.3 安装sbt过程详解507.4 启动517.5 参考518 kafka常见问题529 参考52Windows安装kafka安装JDK1.1 安装文件：/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” - 高级系统设置 - 环境变量?）：JAVA_HOME:?C:\Program Files (x86)\Java\jre1.8.0_60（这个是默认安装路径，如果安装过程中更改了安装目录，把更改后的路径填上就行了）PATH: 在现有的值后面添加; %JAVA_HOME%\bin1.3 打开cmd运行 java -version 查看当前系统Java的版本：安装ZookeeperKafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper2.1 下载安装文件：?/releases.html/zookeeper/zookeeper-3.4.9/下载后解压到一个目录：进入Zookeeper设置目录，笔者F:\home\zookeeper-3.4.9\conf将“zoo_sample.cfg”重命名为“zoo.cfg”3. 在任意文本编辑器（如notepad）中打开zoo.cfg4. 找到并编辑dataDir=F:\\home\\zookeeper-3.4.9\\tmp5. 与Java中的做法类似，我们在系统环境变量中添加：　a. 在系统变量中添加ZOOKEEPER_HOME = F:\home\zookeeper-3.4.9\conf　b. 编辑path系统变量，添加为路径%ZOOKEEPER_HOME%\bin;6. 在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an ac