大数据spark技术之.doc

大数据技术之Spark 第 1 部分 Spark 基础 第 1 章 Spark 概述 本章介绍 Spark 的一些基本认识. 1.1 什么是 Spark Spark 是一个快速(基于内存), 通用, 可扩展的集群计算引擎 并且 Spark 目前已经成为 Apache 最活跃的开源项目, 有超过 1000 个活跃的贡献者. 历史 2009 年，Spark 诞生于 UC Berkeley(加州大学伯克利分校, CAL) 的 AMP 实验室, 项目采用 Scala 编程语言编写. 2010 年, Spark 正式对外开源 2013 年 6 月, 进入 Apache 孵化器 2014 年, 成为 Apache 的顶级项目. 目前必威体育精装版的版本是 2.4.4 (2.1.1) 参考: /history.html Spark 特点 1.2.1 快速 与 Hadoop 的 MapReduce 相比, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上. Spark 实现了高效的 DAG 执行引擎, 可以通过基于内存来高效处理数据流 1.2.2 易用 Spark 支持 Scala, Java, Python, R 和 SQL 脚本, 并提供了超过 80 种高性能的算法, 非常容易创建并行 App 而且 Spark 支持交互式的 Python 和 Scala 的 shell, 这意味着可以非常方便地在这些 shell 中使用 Spark 集群来验证解决问题的方法, 而不是像以前一样 需要打包, 上传集群, 验证等. 这对于原型开发非常重要. 通用 Spark 结合了SQL, Streaming和复杂分析. Spark 提供了大量的类库, 包括 SQL 和 DataFrames, 机器学习(MLlib), 图计算(GraphicX), 实时流处理(Spark Streaming) . 可以把这些类库无缝的柔和在一个 App 中. 减少了开发和维护的人力成本以及部署平台的物力成本. 可融合性 Spark 可以非常方便的与其他开源产品进行融合. 比如, Spark 可以使用 Hadoop 的 YARN 和 Appache Mesos 作为它的资源管理和调度器, 并且可以处理所有 Hadoop 支持的数据, 包括 HDFS, HBase等. Spark 内置模块介绍 1.3.1 集群管理器(Cluster Manager) Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。 为了实现这样的要求，同时获得最大灵活性，Spark 支持在各种集群管理器(Cluster Manager)上运行，目前 Spark 支持 3 种集群管理器: Hadoop YARN(在国内使用最广泛) Apache Mesos(国内使用较少, 国外使用较多) Standalone(Spark 自带的资源调度器, 需要在集群中的每台节点上配置 Spark) SparkCore 实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。SparkCore 中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL 是 Spark 用来操作结构化数据的程序包。通过SparkSql，我们可以使用 SQL或者Apache Hive 版本的 SQL 方言(HQL)来查询数据。Spark SQL 支持多种数据源，比如 Hive 表、Parquet 以及 JSON 等。 Spark Streaming 是 Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API，并且与 Spark Core 中的 RDD API 高度对应。 Spark MLlib 提供常见的机器学习 (ML) 功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。 Spark 得到了众多大数据公司的支持，这些公司包括 Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。 当前百度的 Spark 已应用于大有哪些信誉好的足球投注网站、直达号、百度大数据等业务； 阿里利用 GraphX 构建了大规模的图计算和图挖掘系统，实现了很多生产系统的推荐算法； 腾讯Spark集群达到 8000 台的规模，是当前已知的世界上最大的 Spark 集群。 第 2 章 Spark 运行模式 本章介绍在各种运行模式如何运行 Spark 应用. 首先需要下载 Spark 1．官网地址 / 2．文档查看地址 /docs/2.1.1/ 3．下载地址 /dist/spark/