二零二三年 优质公开课Spark生态圈.pptx

孟繁兴 010203目录Spark SQLSpark StreamSpark简介040506GraphXSpark生态系统应用场景MLlib Spark简介Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。 Spark SQLSpark SQL是Apache Spark的用于处理结构化数据的模块。 Spark StreamSpark Streaming使构建可扩展的容错流应用程序变得容易。使用方便通过高级操作员构建应用程序。容错能力开箱即用的有状态精确语义。Spark整合将流与批处理和交互式查询结合在一起。 MLlib使用方便在Java，Scala，Python和R中可用。性能高质量算法，比MapReduce快100倍。无处不在Spark可针对各种数据源在Hadoop，Apache Mesos，Kubernetes上独立运行或在云中运行。MLlib是Apache Spark的可扩展机器学习库。 GraphX灵活性无缝地处理图形和集合。速度与最快的专业图形处理系统可比的性能。算法从不断增长的图形算法库中选择。网页排名连接的组件标签传播SVD ++牢固连接的组件三角数GraphX是Apache Spark的用于图形和图形并行计算的API。 Spark生态系统应用场景应用场景时间跨度其他框架Spark生态系统中的组件复杂的批量数据处理小时级MapReduce、HiveSpark基于历史数据的交互式查询分钟级、秒级Impala、Dremel、DrillSpark SQL基于实时数据流的数据处理毫秒、秒级Storm、S4Spark Streaming基于历史数据的数据挖掘-MahoutMLlib图结构数据的处理-Pregel、HamaGraphX表1 Spark生态系统组件的应用场景