二零二三年 优质公开课Spark技术简介.pptx

Spark技术简介 1. 了解Spark技术背景知识2. 知道Spark解决问题的场景3. 掌握Spark支持的语言及技术特点 01Spark背景介绍02Spark解决问题的场景03Spark支持的语言04Spark技术的特点 Spark背景介绍01 背景介绍Spark是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发通用并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目。Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。  Spark解决问题的场景02 解决问题的场景Spark的目标是使数据分析更快，几乎大数据所有的场景Spark都能处理：针对批次数据处理Spark中的SparkCore可以处理；针对流式数据Spark中有SparkStreaming处理；针对即席数据查询Spark中有SparkSQL处理；针对图计算场景Spark中有Spark Graphx处理；针对大数据中机器学习的场景Spark中有SparkMLlib机器学习库来提供支持。 Spark支持的语言03 支持的语言目前开发Spark使用最方便的语言是Scala语言，这得益于Spark底层的源码是Scala编写ScalaJavaPythonRSpark支持的语言 Spark技术的特点04 技术的特点速度快简单易用通用性运行模式多样 特点一：速度快 Spark处理数据快的原因： 相对于Hadoop体系中的MapReduce来说是可以将处理的结果保存到内存中，这样在迭代计算的场景下，Spark的速度快的显著。 Spark底层有DAG执行引擎优化任务，Spark是粗粒度的资源调度框架利于集群中多job资源共享等。 特点二：简单易用 使用Scala,Java,Python,R,SQL语言编写Spark程序，Spark针对以上语言提供了80个以上的高效的方法，我们可以使用这些方法来轻松的构建并行的分布式应用程序，同时Spark提供了交互式的操作窗口，我们也可以在交互式的操作窗口中对Spark进行编程。 特点三：通用性 Spark技术栈提供了丰富的组件，我们可以在一个组件内调用其他组件的库来进行编程，这样就可以在一个应用程序中无缝的结合各个组件。 特点四：运行模式多样 Spark可以运行在Hadoop Yarn、Apache Mesos、Kubernetes、Spark Standalone中。 Spark可以读取HDFS、Alluxio、Apache Cassandra、Apache HBase、Apache Hive等各种源头的数据，Spark Api提供了读取这些数据的支持。 1. Spark技术的背景2. Spark技术解决问题的场景3. Spark支持的语言4. Spark技术的特点