kafka技术分享预案.doc

大数据组件-KAFKA 技术分享 1. KAFKA 介绍 1 1.1 背景 1 1.2 组件 2 1.3 特性 3 2. 设计思想理念 3 3. 配置集群 5 4. 开发应用 7 5. 性能优化 10 6. 监控 11 1.下载Kafka Web Console 11 2.安装sbt 11 3.配置Kafka Web Console 11 4.配置mysql的jdbc驱动 11 5.执行sql语句(如下绿色选框所示) 12 6.编译 12 7.运行 12 8.浏览访问 13 7. 常见问题摘要 13 8. 参数设置表 14 9. 待续 23 KAFKA 介绍 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.1 背景 ? ? ?当今社会各种应用系统诸如商业、社交、有哪些信誉好的足球投注网站、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 如何收集这些巨大的信息 如何分析它 ?? ? ? 如何及时做到如上两点 ? ? ?以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。 ? ? ?从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。 1.2 组件 Topic：12 消息存放的目录即主题。消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组成消息生产者，就是向kafka broker发消息的客户端。Producer采用异步push方式，极大提高Kafka系统的吞吐率（可以通过参数控制是采用同步还是异步方式）小数据IO太多，会拖慢整体的网络延迟，批量延迟发送事实上提升了网络效率。不过这也有一定的隐患，比如说当producer失效时，那些尚未发送的消息将会丢失。 producer将会和Topic下所有partition leader保持socket连接;消息由producer直接通过socket发送到broker,中间不会经过任何路由层.事实上,消息被路由到哪个partition上,producer客户端决定partition leader的位置(host:port)注册在zookeeper中,producer作为zookeeper client,已经注册了watch用来监听partition leader的变更事件消息消费者，向kafka broker取消息的客户端 consumer端向broker发送fetch请求,并告知其获取消息的offset;此后consumer将会获得一定条数的消息;consumer端也可以重置offset来重新消费消息 Message： 一个消息单位 Broker： 一台kafka服务器就是一个broker。一个集群由多个broker组成。 Consumer Group （CG）这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。 Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序分区机制partition：Kafka的broker端支持消息分区，Producer可以决定把消息发到哪个分区，在一个分区中消息的顺序就是Producer发送消息的顺序，一个主题中可以有多个分区，具体分区的数量是可配置的。一个Topic的多个partitions,被分布在kafka集群中的多个server上;每个server(kafka实例)负责partitions中消息的读写操作;此外kafka还可以配置partitions需要备份的个数(replicas),每个partition将会被备份到多台机器上,以提高可用性.replicated 基于replicated方案,那么就意味着需要对多个备份进行调度;每个partition都有一个server为leader;leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);f