Flink实时大数据处理技术 教案 9 Flink Kafka 连接器.doc

章节名称

FlinkKafka连接器

课序/课时

总课时

课程性质

考试方式

授课教师

编制时间

37/2课时

80

必修/选修

闭卷/大作业

课题

Kafka概述

教学内容

·基本概念

·环境准备

教学目的

一、理解Kafka的基本概念

介绍Kafka是一个由Apache软件基金会开发的开源流处理平台。解释Kafka是由Scala和Java编写的，主要被用作一个高吞吐量的分布式发布订阅消息系统。

二、掌握Kafka的主要特性

强调Kafka的高吞吐量特性，指出Kafka即使在非常普通的硬件上也可以支持每秒数百万的消息。解释Kafka的持久性，强调所有消息均被持久化到磁盘，支持消息重放。讲述Kafka的分布式特性，即Kafka的数据都会复制到几台服务器上，以实现容错和水平扩展。

三、了解Kafka的核心概念

解释Kafka集群中的“Broker”是消息服务器代理，是Kafka集群中的一个服务节点。阐述“Topic”是Kafka处理的消息的不同分类，每个Topic可以有一个或多个“Partition”。描述“Producer”和“Consumer”的角色，Producer负责发布消息到Kafkabroker，而Consumer负责从Kafkabroker读取消息。

四、学习Kafka的设计目标

强调Kafka旨在处理实时数据馈送，支持大容量事件流，并处理离线系统的数据积压。讲述Kafka如何通过集群提供实时消息，并通过Hadoop的并行加载机制来统一线上和离线的消息处理。

五、理解Kafka的应用场景

提及Kafka在日志收集系统和消息系统中的主要应用场景。强调Kafka在处理网页浏览、有哪些信誉好的足球投注网站和其他用户行动等实时数据中的关键作用。

六、培养实践技能

引导学生通过实际案例和练习来掌握Kafka的使用方法和技巧。鼓励学生尝试在项目中集成Kafka，以提高数据处理和分析的效率。

教学重难点

·重点：

·基本概念

·环境准备

·难点：

·基本概念

·环境准备

教学方式

·提问法

·讲授法

·引导法

·案例法

教学用具

·笔记本电脑

·window10

·IntelliJIDEA2020.1.2

·课堂极域教学平台

·VMware

·虚拟机

教学步骤

复习提问

导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节

复习提问

新课讲解

课堂答疑

课程小结

作业布置

时间分配

(分钟计算)

章节名称

FlinkKafka连接器

课序/课时

总课时

课程性质

考试方式

授课教师

编制时间

38/2课时

80

必修/选修

闭卷/大作业

课题

生产者与消费者

教学内容

·Topic操作

·消息发送及消费

·容错机制

教学目的

一、Kafka生产者教学目标

理解Kafka生产者的基本概念和角色：

介绍Kafka生产者（Producer）是负责向Kafka集群发送（发布）消息的客户端应用程序。

解释生产者在Kafka架构中的重要性，以及它如何与Kafka的Broker进行交互。

掌握Kafka生产者的核心配置和参数：

详述生产者配置如bootstrap.servers、acks、retries、batch.size、linger.ms等的作用和影响。

教授如何根据业务需求调整和优化这些配置参数。

学会使用Kafka生产者API：

教授如何使用Kafka客户端库（如JavaAPI）创建Kafka生产者实例。

展示如何发送简单的消息，包括字符串和自定义对象。

教授如何发送带有键（key）的消息，以及如何利用Kafka的分区机制。

了解Kafka生产者的可靠性保障：

讲述如何通过设置acks和retries参数来确保消息的可靠传输。

教授如何使用事务（TransactionalProducer）来确保消息的原子性写入。

实践Kafka生产者的错误处理和监控：

教授如何处理发送消息时可能遇到的异常和错误。

教授如何监控生产者的性能指标，如发送速率、延迟等。

二、Kafka消费者教学目标

理解Kafka消费者的基本概念和角色：

介绍Kafka消费者（Consumer）是负责从Kafka集群读取（消费）消息的客户端应用程序。

解释消费者组（ConsumerGroup）的概念，以及多个消费者如何共享消息。

掌握Kafka消费者的核心配置和参数：

详述消费者配置如bootstrap.servers、group.id、auto.offset.reset、max.poll.interval.ms等的作用和影响。

教授如何根据业务需求调整和优化这些配置参数。

三、学会使用Kafka消费者API：

教授如何使用Kafka客户端库（如JavaAPI）创建Kafka消费者实例。

展示如何订阅（subscribe）一个或多