Flink实时大数据处理技术 教案 05 流处理API.doc

章节名称

流处理API

课序/课时

总课时

课程性质

考试方式

授课教师

编制时间

21/2课时

80

必修/选修

闭卷/大作业

课题

基本使用

教学内容

·DataStream是什么

·基础程序

·并行度的设置

教学目的

1.DataStream是什么

使学生了解DataStream在Flink中的核心概念，它是Flink处理无界数据流的主要API。教授学生DataStream的基本特性和用法，包括如何从数据源读取数据、如何对数据应用转换操作（如map、filter、reduce等）、以及如何将数据写入到外部系统。引导学生理解DataStreamAPI的编程模型，包括数据流图的构建、算子的执行顺序和并行处理等概念。培养学生的数据流处理意识，使其能够使用DataStreamAPI来构建高效、可靠的数据处理应用。

基础程序

教授学生编写简单的Flink程序的基本步骤，包括创建Flink执行环境、定义数据源、编写数据处理逻辑和定义数据接收器。

引导学生通过实践编写一个完整的Flink程序，包括读取数据、执行转换操作以及输出结果。教授学生如何使用Flink提供的各种算子（如MapFunction、FilterFunction、ReduceFunction等）来实现数据处理逻辑。培养学生的编程能力和问题解决能力，使其能够编写出满足实际需求的Flink程序。

并行度的设置

使学生理解并行度在Flink中的重要性，以及它如何影响程序的性能和资源利用率。教授学生如何设置Flink程序的并行度，包括全局并行度和操作级并行度的设置方法。引导学生探讨并行度设置对程序性能的影响，并通过实验来验证不同并行度设置下的执行效率和资源利用率。培养学生的优化意识，使其能够根据实际需求合理配置Flink程序的并行度，以提高程序的执行效率和资源利用率。

教学重难点

·重点：

·DataStream是什么

·难点：

·基础程序

·并行度的设置

教学方式

·提问法

·讲授法

·引导法

·案例法

教学用具

·笔记本电脑

·window10

·IntelliJIDEA2020.1.2

·课堂极域教学平台

·VMware

·虚拟机

教学步骤

复习提问

导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节

复习提问

新课讲解

课堂答疑

课程小结

作业布置

时间分配

(分钟计算)

章节名称

流处理API

课序/课时

总课时

课程性质

考试方式

授课教师

编制时间

22/2课时

80

必修/选修

闭卷/大作业

课题

DataStream数据源

教学内容

·内置DataSource

·自定义DataSource

教学目的

内置DataSource

使学生了解Flink中内置的各种数据源（DataSource）组件，这些组件提供了从各种数据源（如文件、数据库、Kafka等）读取数据的能力。教授学生如何使用Flink的内置数据源API来快速构建数据流处理应用，无需编写额外的数据读取代码。引导学生理解不同内置数据源的工作原理和适用场景，使其能够根据实际需求选择合适的数据源。培养学生的快速开发能力，使其能够利用Flink的内置数据源快速构建出满足业务需求的数据处理应用。

自定义DataSource

教授学生如何在Flink中自定义数据源，以满足特殊的数据读取需求。导学生理解自定义数据源的实现原理和步骤，包括定义数据源类、实现数据源接口、处理数据读取和并行化等。教授学生如何使用Flink提供的API和工具来辅助自定义数据源的开发，如使用SourceFunction接口、并行化工具等。培养学生的创新能力和问题解决能力，使其能够根据实际业务需求自定义数据源，并解决在开发过程中遇到的问题。

教学重难点

·重点：

·内置DataSource

·自定义DataSource

·难点：

·内置DataSource

·自定义DataSource

教学方式

·提问法

·讲授法

·引导法

·案例法

教学用具

·笔记本电脑

·window10

·IntelliJIDEA2020.1.2

·课堂极域教学平台

·VMware

·虚拟机

教学步骤

复习提问

导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节

复习提问

新课讲解

课堂答疑

课程小结

作业布置

时间分配

(分钟计算)

章节名称

流处理API

课序/课时

总课时

课程性质

考试方式

授课教师

编制时间

23/2课时

80

必修/选修

闭卷/大作业

课题

DataStream转换算子

教学内容

·数据流转换

·RichFunction

·物理分区

·算子链

·资源组

教学目的

数据流转换

让学生了解Flink如何处理