大数据工程师-数据处理与分析-Apache Spark_Spark性能调优与最佳实践.docx

PAGE1

PAGE1

ApacheSpark基础

1Spark架构概述

ApacheSpark是一个开源的分布式计算系统，它提供了数据处理的高速度和通用性。Spark的核心是弹性分布式数据集（ResilientDistributedDataset,RDD），这是一种只读的、可分区的数据结构，可以分布在多个节点上进行并行处理。RDD具有容错性，能够自动恢复数据丢失。Spark的架构设计使得它能够处理大规模数据集，同时保持高性能。

1.1Spark架构的关键组件

DriverProgram：驱动程序是Spark应用程序的控制中心，负责调度任务到集群中的各个节点。