SparkStreaming原理介绍.PDF

Spark Streaming 原理介绍 第 1 页 共 19 页 出自石山园，博客地址：/shishanyuan 目 录 1 SPARK STREAMING简介3 1.1 概述3 1.2 术语定义3 1.3 STORM与SPARK STREMING 比较4 2 运行原理5 2.1 STREAMING架构5 2.2 编程模型7 2.2.1 如何使用Spark Streaming 8 2.2.2 DStream 的输入源9 2.2.3 DStream 的操作 11 2.3 容错、持久化和性能调优16 2.3.1 容错16 2.3.2 持久化18 2.3.3 性能调优18 第 2 页 共 19 页 出自石山园，博客地址：/shishanyuan Spark Streaming 原理介绍 1 Spark Streaming 简介 1.1 概述 Spark Streaming 是Spark 核心API 的一个扩展，可以实现高吞吐量的、具备容错机制的 实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets ，从数据源获取数据之后，可以使用诸如map、reduce、join 和window 等 高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。 在“One Stack rule them all”的基础上，还可以使用Spark 的其他子框架，如集群学习、图 计算等，对流数据进行处理。 Spark Streaming 处理的数据流图： Spark 的各个子框架，都是基于核心Spark 的，Spark Streaming 在内部的处理机制是，接 收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过Spark Engine 处理这 些批数据，最终得到处理后的一批批结果数据。 对应的批数据，在 Spark 内核对应一个RDD 实例，因此，对应流数据的 DStream 可以看 成是一组 RDDs ，即RDD 的一个序列。通俗点理解的话，在流数据分成一批一批后，通过一个 先进先出的队列，然后 Spark Engine 从该队列中依次取出一个个批数据，把批数据封装成一 个 RDD ，然后进行处理，这是一个典型的生产者消费者模型，对应的就有生产者消费者模型的 问题，即如何协调生产速率和消费速率。 1.2 术语定义  离散流（discretized stream ）或DStream ：这是Spark Streaming 对内部持续的实时数 据流的抽象描述，即我们处理的一个实时数据流，在 Spark Streaming 中对应于一个 第 3 页 共 19 页 出自石山园，博客地址：/shishanyuan DStream 实例。  批数据（batch data ）：这是化整为零的第一步，将实时流数据以时间片为单位进行分批， 将流处理转化为时间片数据的批处理。随着持续时间的推移，这些处理结果就形成了对应的 结果数据流了。  时间片或批处理时间间隔（ batch interval ）：这是人为地对流数据进行定量的标准，以时 间片作为我们拆分流数据的依据。一个时间片的数据对应一个RDD 实例。  窗口长度（window length ）：一个窗口覆盖的流数据的时间长度。必须是批处理时间间隔 的倍数，  滑动时间间隔 ：前一个窗口到后一个窗口所经过的时间长度。必须是批处理时间间隔的倍数  Input DStream :一个input DStream 是一个特殊的 DStream ，将Spark Streaming 连接 到一个外部数据源来读取数据。 1.3 Storm 与Spark Streming 比较  处理模型以及延迟 虽然两框架都提供了可扩展性(scalability)和可容错性(f