有哪些信誉好的足球投注网站- 1、本文档共34页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
;本章主要讲述SparkStreaming实时计算框架、Dstream编程模型。;通过学习本节将能够学习SparkStreaming实时计算框架、Dstream编程模型。
通过本节学习可以：
理解SparkStreaming的基本概念及运行原理
掌握Dstream的转换操作
掌握Dstream的窗口操作
掌握Dstream的输出操作
;初探SparkStreaming
SparkStreaming简介
SparkStreaming运行原理
初步使用SparkStreaming
掌握Dstream编程模型
Dstream简介
Dstream转换操作
Dstream窗口操作
Dstream输出操作
3.SparkStreaming实时更新热门博文
;DStream简介
SparkStreaming提供了一个高层次的抽象叫做离散流（discretizedstream）或者DStream，代表了持续性的数据流
DStream可以通过外部数据源（Kafka，Flume，Twitter等）来获取，也可以通过现有DStream的高级操作（Transformation操作）获得
在内部，DStream代表着一系列的持续的RDDs
DStream中的每个RDD都是一小段时间（interval）分割开来的数据集;DStream简介
对DStream的任何操作都会转化成对底层RDDs的操作
例如，对linesDStream做flatMap操作，实际上就是对它内部的所有RDD做flatMap操作。即对DStream的操作可以通过RDD的Transformation生成新的DStream。
;DStream转换操作
;DStream转换操作
;DStream转换操作
以上列出的这些操作，大部分（如map，flatMap，filter等）与RDD的转换操作类似
transform(func)方法值得深入地探讨
transform操作极大地丰富了DStream上能够进行的操作内容。
使用transform操作后，除了可以使用DStream提供的一些转换方法之外，还能够直接调用任意RDD上的操作方法。;DStream转换操作
使用transform将一行语句分割成单词
;DStream转换操作
在slave18888端口上输入“IamlearningSparkStreamingnow”语句
运行结果如图所示，该语句在5s内被分割成单词
;DStream窗口操作
窗口函数，就是在DStream流上，以一个可配置的长度为窗口，以一个可配置的速率向前移动窗口，根据窗口函数的具体内容，对窗口内的数据执行计算操作，每次掉落在窗口内的RDD的数据会被聚合起来执行计算操作，然后生成的RDD会作为WindowDStream的一个RDD。
下图表述的是滑动窗口长度为3秒，这三秒内的3个RDD会被聚合起来进行处理，然后过了两秒钟，又会对最近三秒内的数据执行滑动窗口计算。所以每个滑动窗口操作，都必须指定两个参数，窗口长度以及滑动间隔，而且这两个参数值都必须是batch（批处理时间）间隔的整数倍。;DStream窗口操作
常用的窗口转换操作方法如表所示
这些操作都需要两个参数，windowLength（窗口长度）和slideInterval（时间间隔）。
;DStream窗口操作
;DStream窗口操作
以window(windowLength,slideInterval)为例
设置窗口长度为3s，滑动时间间隔为1s，截取源DStream中的元素形成新的DStream
;DStream窗口操作
;DStream窗口操作
reduceByKeyAndWindow(func,windowLength,slideInterval,[numTasks])操作类似reduceByKey操作，只不过两者操作的数据源不同，reduceByKeyAndWindow的数据源是基于该DStream的窗口长度中的所有数据。
将当前长度为3的时间窗口中的所有数据元素根据key进行合并，统计当前3秒中内不同单词出现的次数。;DStream窗口操作
;DStream窗口操作
;DStream输出操作
;DStream输出操作
saveAsTextFiles、saveAsObjectFiles和saveAsHadoopFiles操作可以将DStream中的内容保存为文本文件
每个batch的数据单独保存为一个文夹，其中prefix为文件夹名前缀，文件夹名前缀参数必须传入，[suffix]为文件夹名后缀，文件夹名后缀参数可选，最终文件夹名称的完整形式为prefix-TIME_IN_MS[.suffix]。
如果前缀中包含文件完整路径，则该text文件夹会建在指定
文档评论（0）