二零二三年 优质公开课SparkSQL数据源.pptx

Spark SQL 数据源;Spark SQL 数据源介绍;/01;DataSet-Spark SQL 数据源。 DataFrame接口允许不同的DataSource在Spark SQL上工作。 它是一个临时表，可以作为正常的RDD操作。 将DataFrame注册为表允许您对其数据运行SQL查询。 SparkSQL中提供了不同类型的数据源，下面列出了其中的一些数据源： ;/02;Spark SQL可以自动捕获JSON数据集的模式，并将其作为DataFrame加载。 可以使用SQLContext.read.json（）对String或JSON文件的RDD进行此转换。 Spark SQL提供了一个选项，用于查询JSON数据以及自动捕获用于读取和写入数据的JSON模式。;/03;Hive与Spark库捆绑为HiveContext，它继承自SQLContext。 使用HiveContext，可以在HiveMetaStore中创建和查找表，并使用HiveQL在其上写入查询。 没有现有Hive部署的用户仍然可以创建HiveContext。;/04;Parquet是一种柱状格式，由许多数据处理系统支持。 具有柱状存储的优点。 加载数据： ;可以SQLContext上使用setConf方法配置Parquet或在用SQL时运行SET Key=value命令来配置 ;1.Spark SQL 数据源介绍2.Spark SQL - JSON数据集3.Spark SQL - Hive表4.Spark SQL - Parquet文件1）加载数据2）配置