第8章 Structured Streaming流式计算引擎.pptx

第8章StructuredStreaming流式计算引擎《Spark大数据分析与实战（第2版）》

学习目标/Target了解SparkStreaming的不足，能够说出SparkStreaming在处理复杂的流式数据时的弊端了解StructuredStreaming，能够叙述StructuredStreaming处理数据的特点熟悉StructuredStreaming编程模型，能够描述StructuredStreaming如何处理实时数据掌握StructuredStreaming的API操作，能够通过ScalaAPI的方式实现输入操作、转换操作和输出操作

学习目标/Target掌握物联网设备数据分析，能够模拟生成数据并分析掌握窗口操作，能够使用StructuredStreaming完成滚动窗口、滑动窗口和会话窗口操作了解时间的分类，能够说出处理流数据中事件时间、注入时间和处理时间的区别

章节概述/Summary创新是引领科技变革的重要因素，通过不断探索和创新，可以推动技术的进步和应用，为经济发展注入新的动力。在当前的数据处理领域，实时处理大量数据流的需求在不断增长，数据的复杂性随之也不断扩大的。然而，对数据流的传统处理方式却无法有效解决实时处理过程中出现的问题，例如时效性低、灵活性不高等。为了解决这些问题，Spark推出了StructuredStreaming，这是一种基于SparkSQL构建的可扩展且容错的流处理引擎，它提供了与SparkSQL类似的API，既支持对数据流处理，也支持对数据批处理。本章将从SparkStreaming的不足开始说起，逐步针对StructuredStreaming的基本概念及其相关操作进行详细介绍。

目录/Contents010203SparkStreaming的不足StructuredStreaming概述StructuredStreaming的API操作04时间和窗口操作05案例——物联网设备数据分析

SparkStreaming的不足8.1

了解SparkStreaming的不足，能够说出SparkStreaming在处理复杂的流式数据时的弊端学习目标8.1SparkStreaming的不足

8.1SparkStreaming的不足SparkStreaming实时接收数据时，会将数据切分成多个批数据，每一批数据最终会被转换成RDD进行处理，并将处理结果保存到存储系统中。然而，这种处理方式并非总能满足实时数据处理的所有需求，其存在以下几方面的弊端。142不支持事件时间（EventTime）end-to-end的一致性语义需要手动实现流批处理不统一3复杂底层的API

8.1SparkStreaming的不足多学一招：一致性语义一致性语义是指在数据流处理中，保证数据处理时的正确性和顺序性的一种约定或规范。以下是常见的一致性语义的介绍。Atmostonce（最多一次）：在数据流处理过程中每条数据可能被处理一次或不被处理，这种情况可能会造成数据丢失。Atleastonce（至少一次）：在数据流处理过程中每条数据会被处理一次或多次，这种一致性语义比Atmostonce的一致性语义安全性高，可以确保数据不会丢失，但可能会造成一条数据被重复处理多次。Exactlyonce（恰好一次）：在数据流处理过程中每条数据只会被处理一次，这种一致性语义的安全性高，既可以保证数据不会丢失，也可以保证每条数据不会被处理多次。

StructuredStreaming概述8.2

8.2.1StructuredStreaming简介了解StructuredStreaming，能够叙述StructuredStreaming处理数据的特点。学习目标

8.2.1StructuredStreaming简介StructuredStreaming是Spark新增的流处理引擎，它融合了流处理和批处理的编程模型，允许用户在一个程序中同时实现批处理和流处理，并且支持事件时间进行数据处理。简单来说，在使用StructuredStreaming时，无须关心数据是流处理还是批处理，只需使用同样的数据处理逻辑来实现数据的处理即可。StructuredStreaming具有如下显著特点。StructuredStreaming是基于SparkSQL的流式处理引擎，和SparkSQL共用大部分DatasetAPI、DataFrameAPI和SQL语句，对熟悉SparkSQL的用户很容易上手，代码也十分简洁。统一的编程范式StructuredStreaming在与SparkSQL共用DatasetAPI和DataFrameAPI的同时，