二零二三年 优质公开课Spark的容错机制.pptx

张义 目录0102Spark作业故障排除Spark的容错机制 Spark作业故障排除1 Spark作业故障排除Spark已经成为Hadoop生态中卓越的处理框架。因此，有必要花一些时间了解Spark中一些重要作业问题的处理方法。 Spark作业故障排除Spark可以自动处理失败的任务，我们也可直接手动杀死作业。也可以指定作业的最大尝试次数和最大失败次数。 Spark的容错机制2 Spark的容错机制容错?指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，Spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性。 Spark的容错机制一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 Spark的容错机制因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(Lineage)”容错）记录下来，以便恢复丢失的分区。 Spark的容错机制Lineage本质上很类似于数据库中的重做日志（Redo Log），只不过这个重做日志粒度很大，是对全局数据做同样的重做进而恢复数据。Spark会自动重新执行失败以及运行缓慢的任务。如果其中的一台工作机器在执行RDD转换时出现故障，Spark会在另一台机器上重启该任务。当一个任务耗时太长而无法完成时，Spark会进行类似的操作。Spark还会在内存压力较大时，根据RDD的执行流程，重新计算从缓存中移除的所有分区。