Spark大数据技术与应用第二版微课版肖芳实训答案和数据.docxVIP

Spark大数据技术与应用第二版微课版肖芳实训答案和数据

Spark大数据技术与应用是一门应用于大数据处理的开源计算框架。它提供了一个高效的、可扩展的、分布式内存计算引擎，可以用于大规模数据的处理、分析和挖掘。本文将为大家介绍Spark大数据技术与应用第二版微课版肖芳实训的答案和相关数据。

实训问题一：使用Spark统计数据中男女人数和平均年龄。

解答：

首先，我们需要加载数据集。在这个实例中，我们将使用一个包含人员信息的数据集。假设该数据集以CSV格式存储，每一行包含姓名、性别和年龄。

```scala

//导入spark和相关库

importorg.apache.spark.sql.SparkSession

importorg.apache.spark.sql.functions._

//创建SparkSession

valspark=SparkSession.builder().appName(GenderAndAgeStats).getOrCreate()

//读取CSV文件为DataFrame

valdf=spark.read.option(header,true).csv(/path/to/dataset.csv)

//统计男女人数

valgenderCount=df.groupBy(gender).count()

//计算平均年龄

valavgAge=df.select(avg(col(age)))

//显示结果

genderCount.show()

avgAge.show()

```

在上述代码中，我们首先创建了一个SparkSession对象，然后使用`spark.read.option(header,true).csv(/path/to/dataset.csv)`方法将CSV文件加载为DataFrame。接下来，我们可以使用`groupBy`函数和`count`方法对性别进行分组，并计算每个组的人数。通过`select`和`avg`函数，我们可以计算出平均年龄。最后，我们使用`show`方法显示结果。

实训问题二：使用Spark计算每个城市的平均工资。

解答：

在这个实例中，我们将使用一个包含工资信息的数据集，其中每一行包含姓名、城市和工资。

```scala

//导入spark和相关库

importorg.apache.spark.sql.SparkSession

importorg.apache.spark.sql.functions._

//创建SparkSession

valspark=SparkSession.builder().appName(CityAverageSalary).getOrCreate()

//读取CSV文件为DataFrame

valdf=spark.read.option(header,true).csv(/path/to/dataset.csv)

//计算每个城市的平均工资

valavgSalary=df.groupBy(city).agg(avg(col(salary)))

//显示结果

avgSalary.show()

```

在这个代码段中，我们首先创建了一个SparkSession对象。然后，使用`spark.read.option(header,true).csv(/path/to/dataset.csv)`方法将CSV文件加载为DataFrame。接下来，我们使用`groupBy`函数和`agg`方法对城市进行分组，并计算每个组的平均工资。最后，我们使用`show`方法显示结果。

实训问题三：使用Spark计算每个员工的工资等级。

解答：

在这个实例中，我们将使用一个包含工资信息的数据集，其中每一行包含姓名和工资。

```scala

//导入spark和相关库

importorg.apache.spark.sql.SparkSession

importorg.apache.spark.sql.functions._

//创建SparkSession

valspark=SparkSession.builder().appName(EmployeeSalaryGrade).getOrCreate()

//读取CSV文件为DataFrame

valdf=spark.read.option(header,true).csv(/path/to/dataset.csv)

//计算每个员工的工资等级

valsalaryGrade=df.withColumn(grade,when(col(salary)5000,A).otherwise(B))

//显示结