《通信数据分析与实战》课件——第二章 Spark 基础.pptxVIP

;2;Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室，它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快，而且内置了丰富的API，使得我们能够更加容易编写程序。

Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。;Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、MLlib等组件。;SparkCore和SparkSQL;SparkStreaming和MLlib;GraphX和调度器;Spark的特点;Spark的应用场景;10;;12;Spark的搭建的环境介绍;Spark的部署方式;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;Spark集群安装部署;SparkHA集群部署;Zookeeper集群安装;Zookeeper集群安装;Zookeeper集群安装;Zookeeper集群安装;Zookeeper集群安装;Zookeeper集群安装;Zookeeper服务器的启动和关闭;Zookeeper服务器的启动和关闭;SparkHA集群部署;SparkHA集群部署;SparkHA集群部署;SparkHA集群部署;SparkHA集群部署;SparkHA集群部署;脚本启动Zookeeper集群;39;;41;在学习Spark运行架构与工作原理之前，首先需要了解几个重要的概念和术语;基本概述;Spark集群运行架构;Spark集群运行架构;Spark的运行流程;Spark的运行流程;Spark的运行流程;49;;51;我们可以通过运行Spark官方示例SparkPi，体验Spark集群提交任务的流程。执行下述代码块中的命令，提交SparkPi程序。;提交Spark作业后，观察Spark集群管理界面，其中“RunningApplications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在CompletedApplications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Piisroughly3.140691140691141”，说明Pi值已经被计算完毕;54;;56;SparkShell介绍;SparkShell启动;SparkShell启动;下面通过启动Spark-Shell，并且使用Scala语言开发单词计数的Spark程序，现需要有文本文件words.txt（需要在本地创建文件并上传至指定目录）在HDFS中的/spark/test路径下，且文本内容如下：;SparkShell读取HDFS文件;SparkShell读取HDFS文件;SparkShell读取HDFS文件;SparkShell读取HDFS文件;SparkShell读取HDFS文件;66;;68;Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中，通常会在IDEA开发工具中编写程序，然后打成Jar包，最后提交到集群中执行。本节我们将利用IDEA工具开发一个WordCount单词计数程序。;WordCount案例;WordCount案例;WordCount案例;WordCount案例;集群模式执行Spark程序;集群模式执行Spark程序;集群模式执行Spark程序;集群模式执行Spark程序;集群模式执行Spark程序;集群模式执行Spark程序;集群模式执行Spark程序;81;