数据仓库原理与实践 课件 第7章 基于Spark平台的数据计算.pptx

第7章基于Spark平台的数据计算

7.1Spark计算引擎7.2Spark部署与任务提交7.3SparkSQL

如何面对海量数据进行高效计算和分析，让用户联机任意查询，并获得有用的查询结果，对企业来说是一种挑战。请思考：(1)如何进行技术选型？(2)如何进行安装部署？(3)如何构建开发环境？(4)如何进行大数据计算开发？(5)如何进行大数据计算任务提交引例思考大数据计算运行部署与配置SparkSQL语句任务提交

Spark计算引擎7.1

MR与DAG计算模型MR计算模型和DAG计算模型在定义、特点、处理流程以及优势上均存在显著差异。MR模型侧重于问题的简单分解与并行处理，而DAG模型则通过构建有向无环图来支持更复杂的任务调度和优化，具有更高的并行性、灵活性和可扩展性。MR计算模型，也被称为MapReduce计算模型，是一种由Google提出的基于多台机器的分布式计算框架。它广泛应用于大规模数据处理，特别是在计算/有哪些信誉好的足球投注网站引擎中的数据索引和统计方面。DAG计算模型，即有向无环图（DirectedAcyclicGraph）计算模型，是一种特殊的图论结构，由节点（或称为顶点）和有方向的边组成，并且没有循环路径。

MR与DAG计算模型DAG（DirectedAcyclicGraph，有向无环图）计算模型是一种基于有向无环图的计算模型，它由一组顶点和一组有向边组成，每条边表示顶点之间的依赖关系。DAG计算模型具有以下特点：并行性：DAG模型能够很好地支持任务的并行执行，通过分解任务为多个子任务，并基于任务间的依赖关系进行并行调度，从而提高计算效率。灵活性：DAG模型支持任意的计算任务拓扑结构，可以根据实际需求进行灵活的任务调度和优化。可扩展性：DAG模型可以轻松地添加、删除或修改计算任务，使得系统具有较强的可扩展性。可靠性：DAG模型中的任务依赖关系可以保证计算的正确顺序，避免数据冲突和计算错误，提高系统的容错能力。

MR与DAG计算模型DAG（DirectedAcyclicGraph，有向无环图）计算模型是一种基于有向无环图的计算模型，它由一组顶点和一组有向边组成，每条边表示顶点之间的依赖关系。DAG计算模型具有以下特点：并行性：DAG模型能够很好地支持任务的并行执行，通过分解任务为多个子任务，并基于任务间的依赖关系进行并行调度，从而提高计算效率。灵活性：DAG模型支持任意的计算任务拓扑结构，可以根据实际需求进行灵活的任务调度和优化。可扩展性：DAG模型可以轻松地添加、删除或修改计算任务，使得系统具有较强的可扩展性。可靠性：DAG模型中的任务依赖关系可以保证计算的正确顺序，避免数据冲突和计算错误，提高系统的容错能力。

MR与DAG计算模型DAG（DirectedAcyclicGraph，有向无环图）计算模型是一种基于有向无环图的计算模型，它由一组顶点和一组有向边组成，每条边表示顶点之间的依赖关系。与MR计算模型相比，DAG计算模型在多个方面表现出优势：算子支持：DAG计算模型（如Spark中的RDD）可以支持更多的算子，如filter、sum等，而MR模型仅支持map和reduce两种基本算子。存储机制：DAG计算模型提供了更灵活的存储机制，如本地硬盘存储、缓存存储及混合存储模式，而MR模型主要依赖于HDFS存储。任务并发：DAG模型带来了更细粒度的任务并发，不再像MR那样每次任务都需要启动一个JVM进程，从而减少了资源消耗并提高了并发性。延迟计算：DAG模型中的延迟计算机制使得相同stage内的操作可以合并执行，减少了数据扫描次数，提高了计算效率。

Spark核心概述ApacheSpark是一个快速的，通用的集群计算系统。它对Java，Scala，Python和R提供了的高层API，并有一个经优化的支持通用执行图计算的引擎。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图计算的GraphX和用于实时数据处理的SparkStreaming。Spark框架主要模块SparkCore——基于内存的分布式计算引擎SparkSQL——分布式数据分析SparkStreaming——分布式流处理SparkMLlib——分布式机器学习SparkGraphX——分布式图计算

Spark部署与任务提交7.2

Spark部署ApacheSpark环境部署是一个涉及多个步骤和配置的过程，主要包括环境准备、安装包下载与安装、环境变量配置、集群配置（如果是集群模式）、以及最后的测