讲如何选择spark编程语言部署海量资源.pdfVIP

本文由简悦SimpRead转码，原文地址

从下个模块开始，我们就会进入Spark的学习中，在正式开始学习Spark之前，首先需要选择自己要

使用的Spark编程语言，了解如何部署Spark，另外再根据选择一个简单、方便的Spark运行环

境。

本的主要内容有3块：

Spark编程语言种类，如何选择Spark编程语言；

部署Spark；

如何安装Spark的学习环境。

Spark的编程语言

Spark在诞生之初就提供了多种编程语言接口：Scala、Java、Python和SQL，在后面的版本中又加入

了R语言编程接口。对于Spark来说，虽然其内核是由Scala编写而成，但编程语言从来就不是它的重

点，从Spark提供这么多的编程接口来说，Spark鼓励不同背景的人去使用它完成自己的数据探索工

作。尽管如此，不同编程语言在开发效率、执行效率等方面还是有些不同，我将目前Spark各种编程语言

优缺点罗列如下：

类型开发效率执行效率成熟度支持类型

Scala编译型中高高原生支持

Java编译型低高高原生支持

Python解释型高PySpark

R解释型高中低SparkR

SQL解释型高高高原生支持

现在我们对每个语言的优缺点进行详细的分析：

Scala作为Spark的开发语言当然得到了原生支持，也非常成熟，它简洁的语法也能显著提高开发

效率；

Java也是Spark原生支持的开发语言，但是Java语法冗长且不支持函数式编程（1.8以后支

持），导致它的API设计得冗余且不合理，再加上需要编译执行，Java开发效率无疑是最低的，

但Java程序员基数特别大，JavaAPI对于这些用户来说无疑很友好；

Python与R语言都是解释型语言，不用编译直接运行，尤其是Python更以简洁著称，开发

效率自不必说，此外Python与R语言本身也支持函数式编程，这两种语言在开发Spark作业时

也是非常自然，但由于其执行原理是计算任务在每个节点安装的Python或R的环境中执行，结果

通过管道输出给Spark执行者，所以效率要比Scala与Java低；

SQL是Spark原生支持的开发语言，从各个维度上来说都是最优的，所以一般情况下，用Spark

SQL解决问题是最优选择。

如果你才刚开始学习Spark，那么一开始最好选择一门自己最熟悉的语言，这样Spark的学习曲线会比

较平缓。如果从零开始，建议在Scala与Python中间选择，Scala作为Spark的原生开发语言，如果