Spark大数据分析 课件 4.6 统计每日新增用户.pptxVIP

SparkSQL简介

什么是SparkSQL

SparkSQL架构

什么是SparkSQL

ô

什么是SparkSQL

SparkSQL架构与Hive架构相比除了把底层的MapReduce执行引擎更改为

Spark还修改了Catalyst优化器，SparkSQL快速的计算效率得益于Catalyst优化器。从HiveQL被解析成语法抽象树起，执行计划生成和优化的工作全部交给

SparkSQL的Catalyst优化器进行负责和管理。

什么是SparkSQL

SQL主要提供了以下3个功能。

(1)SparkSQL可以从各种结构化数据源(如JSON、Hive、Parquet等)中读取数据，进行数据分析。

(2)SparkSQL包含行业标准的JDBC和ODBC连接方式，因此它不局限于在Spark程序内使用SQL语句进行查询。

(3)SparkSQL可以无缝地将SQL查询与Spark程序进行结合，它能够将结构化数据作为Spark中的分布式数据集(RDD)进行查询，在Python、Scala和Java中均集成了相关API,这种紧密的集成方式能够轻松地运行SQL查询以及复杂的分析算法。

总体来说，SparkSQL支持多种数据源的查询和加载，兼容Hive,可以使用

JDBC/ODBC的连接方式来执行SQL语句，它为Spark框架在结构化数据分析方面提供重要的技术支持。

SparkSQL架构

SparkSQL架构

SparkSQL快速的计算效益得益于Catalyst优化器。从HiveQL被解析成语法抽象树起，执行计划生成和优化的工作全部交给SparkSQL的Catalyst优化器负责和管理。

SparkSQLCLI

DataFrameAPI

JDBC/ODBC

感谢大家的聆听