- 1、本文档共25页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
Spark生态系统应用实战指南
TOC\o1-2\h\u25682第1章Spark基础知识 4
319281.1Spark概述 4
54101.1.1背景与特点 4
112641.1.2与其他大数据处理框架的对比 4
307891.2Spark核心概念 5
33981.2.1RDD(弹性分布式数据集) 5
70451.2.2DAG(有向无环图) 5
63841.2.3Transformation和Action 5
144441.2.4宽依赖和窄依赖 5
87541.3Spark运行模式 5
76531.3.1本地模式 5
27291.3.2集群模式 5
173951.4Spark安装与部署 6
316831.4.1安装前提 6
168891.4.2与安装 6
72551.4.3集群部署 6
25706第2章Spark编程模型 6
112972.1RDD(弹性分布式数据集) 7
176272.1.1RDD基本概念 7
317422.1.2RDD操作 7
81442.1.3RDD特性 7
125672.2DataFrame与Dataset 7
158012.2.1DataFrame基本概念 7
292812.2.2Dataset基本概念 7
125292.2.3DataFrame与Dataset操作 7
233202.3SparkSQL 8
309252.3.1SparkSQL基本概念 8
87392.3.2SparkSQL执行流程 8
230272.3.3SparkSQL特性 8
96002.4SparkStreaming 8
323992.4.1SparkStreaming基本概念 8
169402.4.2SparkStreaming架构 8
177072.4.3SparkStreaming操作 9
25629第3章Spark核心组件 9
69533.1SparkContext 9
223503.1.1初始化SparkContext 9
266773.1.2SparkContext配置 9
271183.1.3SparkContext功能 9
312753.2SparkSession 10
125843.2.1创建SparkSession 10
74913.2.2SparkSession配置 10
33703.2.3SparkSession应用 10
108803.3SparkUI与监控 10
118513.3.1SparkUI组成 10
262933.3.2使用SparkUI 11
113963.3.3SparkUI在问题诊断中的应用 11
78413.4Spark调优策略 11
29723.4.1调整资源分配 11
43303.4.2优化数据存储 11
65743.4.3调整执行策略 12
320083.4.4其他调优方法 12
17146第4章SparkSQL实战 12
98144.1DataFrame和Dataset操作 12
33564.1.1创建DataFrame和Dataset 12
217364.1.2DataFrame和Dataset的基本操作 13
156484.2读取和写入数据 13
270934.2.1读取数据 13
18024.2.2写入数据 14
28434.3用户自定义函数(UDF) 14
232444.3.1创建UDF 14
192634.3.2在DataFrame中使用UDF 14
168324.4SparkSQL案例实战 14
49554.4.1背景介绍 14
64334.4.2数据处理 14
2621第5章SparkStreaming实战 15
64215.1SparkStreaming概述 15
188705.2DStream操作与转换 15
218335.2.1无状态转换 15
315795.2.2有状态转换 16
28665.3SparkStreaming与Kafka集成 16
605.3.1从Kafka读取数据 16
295365.3.2将数据写入Kafka 16
9054
文档评论(0)