二零二三年 优质公开课SparkSQL编程入门.pptx

Spark SQL编程入门 目 录CONTENTS2Spark SQL编程入门1Spark SQL概述 Spark SQL概述PART 0101 Spark SQL概述Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是，Spark SQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSet API与Spark SQL进行交互。 Spark SQL概述Spark SQL模块的编程主入口点是SparkSession，SparkSession对象不仅为用户提供了创建DataFrame对象、读取外部数据源并转化为DataFrame对象以及执行sql查询的API，还负责记录着用户希望Spark应用如何在Spark集群运行的控制、调优参数，是Spark SQL的上下文环境，是运行的基础。Spark SQL模块 Spark SQL编程入门PART 0202 Spark SQL编程入门?1、创建SparkSessionSparkSession sparkSession = SparkSession.builder().master(local).appName(SparkSQLDemo1).config(spark.testing.memory, 471859200).getOrCreate();master(local)和new SparkConf().setMaster(local)一个样子，SparkSession包含了SparkContext，SqlContext等，是更强大的入口对象，也是更统一的入口。appName(SparkSQLDemo1)设置任务名称config()：设置配置属性 Spark SQL编程入门?2、创建DataFrameSparkSession对象提供的API，可以从现有的RDD，Hive表或其他结构化数据源中创建DataFrame对象。public static void main(String[] args) { SparkSession sparkSession = SparkSession.builder().master(local).appName(SparkSQLDemo1).config(spark.testing.memory, 471859200).getOrCreate(); System.out.println(sparkSession.version()); DatasetRow json = sparkSession.read().json(D:\\sparksqlfile\\jsondata\\student.json); //show方法是展示所有的数据，也可以show(int rownums) 展示前N条数据 json.show(); sparkSession.close();} Spark SQL编程入门?3、DataFrame基本操作DataFrame为我们提供了灵活、强大且底层自带优化的API，例如select、where、orderBy、groupBy、limit、union这样的算子操作，DataFrame提供这一系列算子对开发者来说非常熟悉，而DataFrame正是将SQL select语句的各个组成部分封装为同名API，用以帮助程序员通过select、where、orderBy等。DataFrame API灵活地组合实现sql一样的逻辑表达。因此，DataFrame编程仅需像SQL那样简单地对计算条件、计算需求、最终所需结果进行声明式的描述即可，而不需要像RDD编程那样一步步地对数据集进行原始操作。 Spark SQL编程入门SparkSession sparkSession = SparkSession.builder().master(local).appName(SparkSQLDemo1).config(spark.testing.memory, 471859200).getOrCreate();DatasetRow json = sparkSession.read().json(D:\\sparksqlfile\\jsondata\\student.json);// 定义字段Column id = new Column(id);Column name = new Column(name);// 查询单个字段json.select(id).show();// 查询多个字段json.select(id,name).show();// 关闭saprkSesison 这里的close和stop是一个样 2.1.X开始用close 2.0.X使用的stopsparkSession.close