Spark大数据分析 课件 1.2 Spark简介.pptx

Spark简介

目录/Contents01Spark特性02Spark的历史与发展01Spark组件

Spark特性01

Spark特性运行速度快面向磁盘的MapReduce受限于磁盘读/写性能和网络I/O性能的约束，在处理迭代计算、实时计算、交互式数据查询等方面并不高效，但是这些却在图计算、数据挖掘和机器学习等相关应用领域中非常常见。针对这一不足，将数据存储在内存中并基于内存进行计算是一个有效的解决途径。易用性Spark不仅计算性能突出，在易用性方面也是其他同类产品难以比拟的。一方面，Spark提供了支持多种语言的API，如Scala、Java、Python、R等，使得用户开发Spark程序十分方便。另一方面，Spark是基于Scala语言开发的，由于Scala是一种面向对象的、函数式的静态编程语言，其强大的类型推断、模式匹配、隐式转换等一系列功能结合丰富的描述能力使得Spark应用程序代码非常简洁。Spark的易用性还体现在其针对数据处理提供了丰富的操作。

Spark特性通用性相对于第一代的大数据生态系统Hadoop中的MapReduce，Spark无论是在性能还是在方案的统一性方面，都有着极大的优势。Spark框架包含了多个紧密集成的组件，如图1-5所示。位于底层的是SparkCore，其实现了Spark的作业调度、内存管理、容错、与存储系统交互等基本功能，并针对弹性分布式数据集提供了丰富的操作。在SparkCore的基础上，Spark提供了一系列面向不同应用需求的组件，主要有SparkSQL、SparkStreaming、MLlib、GraphX。支持多种资源管理器Spark不仅计算性能突出，在易用性方面也是其他同类产品难以比拟的。一方面，Spark提供了支持多种语言的API，如Scala、Java、Python、R等，使得用户开发Spark程序十分方便。另一方面，Spark是基于Scala语言开发的，由于Scala是一种面向对象的、函数式的静态编程语言，其强大的类型推断、模式匹配、隐式转换等一系列功能结合丰富的描述能力使得Spark应用程序代码非常简洁。Spark的易用性还体现在其针对数据处理提供了丰富的操作。

Spark的历史与发展02

Spark的历史与发展Spark发展历程：Spark在2009年由MateiZaharia在加州大学柏克莱分校AMPLab开创2010年通过BSD许可协议开源发布。2013年6月，该项目被捐赠给Apache软件基金会并切换许可协议至Apache2.0。2014年2月，Spark成为Apache的顶级项目。2014年11月，Databricks团队使用Spark刷新数据排序世界记录。2014年5月底Spark1.0.0发布。2014年9月Spark1.1.0发布2014年12月Spark1.2.0发布...2016年1月4号Spark1.6.0发布...2016年6月26号Spark2.0发布...时至今日的2.2.0版本

Spark组件03

Spark组件相对于第一代的大数据生态系统Hadoop中的MapReduce，Spark无论是在性能还是在方案的统一性方面，都有着极大的优势。Spark框架包含了多个紧密集成的组件，如图1-6所示。位于底层的是SparkCore，其实现了Spark的作业调度、内存管理、容错、与存储系统交互等基本功能，并针对弹性分布式数据集提供了丰富的操作。在SparkCore的基础上，Spark提供了一系列面向不同应用需求的组件，主要有SparkSQL、SparkStreaming、MLlib、GraphX。Spark软件栈

Spark组件SparkSQLSparkSQL是Spark用来操作结构化数据的组件。通过SparkSQL，用户可以使用SQL或者ApacheHive版本的SQL方言（HQL）来查询数据。SparkSQL支持多种数据源类型，例如Hive表、Parquet以及JSON等。SparkSQL不仅为Spark提供了一个SQL接口，还支持开发者将SQL语句融入到Spark应用程序开发过程中，无论是使用Python、Java还是Scala，用户可以在单个的应用中同时进行SQL查询和复杂的数据分析。由于能够与Spark所提供的丰富的计算环境紧密结合，SparkSQL得以从其他开源数据仓库工具中脱颖而出。SparkSQL在Sparkl.0中被首次引入。在SparkSQL之前，美国加州大学伯克利分校曾经尝试修改ApacheHive以使其运行在Spark上，进而提出了组件Shark。然而随着SparkSQL的提出与发展，其与Spark引擎和API结合得更加紧密，使得Shark已经被SparkSQL所取代