《Spark编程基础（Python版）》.PDF

《Spark编程基础（Python版）》 教材官网：/post/spark-python/ 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 第2章Spark的设计与运行原理 （PPT版本号：2019年春季学期） 林子雨 厦门大学计算机科学系 扫一扫访问教材官网 E-mail: ziyulin@ 主页：/post/linziyu 《Spark编程基础(Python厦门大学计算机科学系版)》 厦门大学计算机科学系 林子雨 2019版ziyulin@ 课程教材 Spark入门教程(Python版) /blog/1709-2/ 纸质教材预期在2019年夏天上市销售 扫一扫访问在线教程 本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark 编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设 计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、 Spark Streaming、Structured Streaming、Spark MLlib等。本书每个 章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握 Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲 义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@ 提纲 • 2.1 Spark概述 • 2.2 Spark生态系统 • 2.3 Spark运行架构 • 2.4 Spark的部署方式 百度有哪些信誉好的足球投注网站厦门大学数据库实验室网站访问平台 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@ 2.1 Spark概述 2.1.1 Spark简介 2.1.2 Spark与Hadoop的比较 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@ 2.1.1 Spark简介 •Spark最初由美国加州大学伯克利分校 （UC Berkeley）的 AMP实验室于2009年开发，是基于内存计算的大数据并行 计算框架，可用于构建大型的、低延迟的数据分析应用程 序 •2013年Spark加入Apache孵化器项目后发展迅猛，如今已 成为Apache软件基金会最重要的三大分布式计算系统开源 项目之一（Hadoop、Spark、Storm ） •Spark在2014年打破了Hadoop保持的基准排序纪录 •Spark/206个节点/23分钟/100TB数据 •Hadoop/2000个节点/72分钟/100TB数据 •Spark用十分之一的计算资源，获得了比Hadoop快3倍 的速度 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@ 2.1.1 Spark简介 Spark具有如下几个主要特点： •运行速度快：使用DAG执行引擎以支持循环数据流与内存计算 •容易使用：支持使用Scala、Java 、Python和R语言进行编程， 可以通过Spark Shell进行交互式编程 •通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流 式计算、机器学习和图算法组件 •运行模式多样：可运行于独立的集群模式中，可运行于Hadoop 中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS 、C