SparkStreaming架构原理剖析.pdfVIP

SparkStreaming架构原理剖析

⽂章⽬录

⼀、SparkStreaming原理概述

我们常见的sparkjob是将⼀批数据分发到多台节点进⾏计算的任务。⽽SparkStreaming就是将不断流⼊的数据累积起来，然后划分成⼀

个个sparkjob提交到集群运⾏。所以SparkStreaming其实就是⼀个源源不断的微批次处理任务。

我们写SparkStreaming程序时，都必须构造⼀个StreamingContext实例，StreamingContext的构造函数必须传⼊的batchDuration参

数就是微批处理的时间间隔。⽐如设置的batchDuration是1s，那么SparkStreaming每隔1s就会收集数据然后⽣成Sparkjob提交到集

群运⾏。

下⾯是spark官⽅解释SparkStreaming的⼀个图：

这图也说明了持续流⼊的数据流在进⾏SparkStreaming处理后会变成⼀批批的数据，最终还是交给Spark计算引擎处理。

看了上⾯的介绍，⼤家应该都能⼤概的理解SparkStreaming的架构原理了。但是这个原理终究还是⽐较泛，SparkStreaming中还是有

很多细节值得我们去探究。在介绍那些细节前，我们可以先思考⼀下下⾯的三个问题:

1.SparkStreaming的编程模型是DStream，它最终是如何转换成RDD的？另外是何时⽣成RDD？

2.SparkStreaming是如何收集数据，然后分配给微批次中的RDD的？

3.SparkStreaming是⼀个长时间运⾏的程序，它是如何做好容错和故障恢复的？

⼆、DStream⽣成RDD实例的过程

1、什么是DStream

在SparkStreaming中，我们都是⾯向DStream编程。从编程的⾓度来看，RDD⽀持的所有transformation函数DStream都能⽤，所以

在我们使⽤者来看，好像DStream就是RDD，然后在RDD上⼜新增了⼀些流式计算的相关函数。

其实不然，严格来说，DStream是RDD的⼀个模板，RDD则是DStream的⼀个具体实例。就像java中类和实例的关系。

我们可以看⼀下DStream的⼀些关键属性:

//微批处理的时间间隔

defslideDuration:Duration

//维护上游的DStream

defdependencies:List[DStream[_]]

//历史⽣成过的RDD实例，key为时间。这个Time是与⽤户指定的batchDuration对齐了的时间

private[streaming]vargeneratedRDDs=newHashMap[Time,RDD[T]]()

//⼀个函数，定义如何⽣成RDD实例。DStream的各个⼦类有具体的实现

defcompute(validTime:Time):Option[RDD[T]]

和RDD⼀样，DStream的transformation函数其实也是在各个不同的DStream之间进⾏转换。⽐如下⾯的这些DStream操作:

vallines=ssc.socketTextStream(localhost,9999)

valwords=lines.flatMap(_.split())//DStreamtransformation

valpairs=words.map(word=(word,1))//DStreamtransformation

valwordCounts=pairs.reduceByKey(_+_)//DStreamtransformation

wordCounts.print()//DStreamoutput

如果把它们⽤具体的DStream形容，就会变成如下的代码:

vallines=newSocketInputDStream(localhost,9999)//类型是SocketInputDStream

valwords=newFlatMappedDStream(lines,_.split())//类型是FlatMappedDStream

valpairs=newMappedDStream(words,word=(word,1))//类型是MappedDStream

va