大数据分析及应用项目教程(Spark SQL)（微课版） 实训单 实训7 电商大数据分析与探索.docx

实训7电商大数据分析与探索

一、实训目的与要求

1、掌握从不同数据源创建DataFrames的方法。

2、掌握操作DataFrame进行数据清洗的基本方法。

3、掌握操作DataFrame进行数据转换的基本方法。

4、掌握使用SparkSQL语句进行数据分析的方法。

5、掌握持久存储数据的方法。

6、灵活使用DataFrame数据操作的各种方法进行数据查询。

7、会使用聚合、连接等操作对DataFrame数据进行转换。

8、能使用聚合函数对DataFrame数据进行分析。

二、操作训练

1、女装电子商务评论情况分析

现有某女装线上商店的一份围绕客户评论的女装电子商务数据集Clothing-Reviews.csv。数据集字段如表1所示。现在商家希望能帮助他们对此份数据进行分析，获得一些建设性意见，帮助商店更好的发展。

表1女装电子商务评论数据集字段含义

字段

含义

order_id

订单编号

clothing_id

服装编号

age

年龄

review_text

评论

rating

评级

recommended_IND

是否推荐

positive_feedback_count

积极反馈计数

class_name

服装分类

（1）读取“女装电子商务评论”数据集，加载数据集到RDD，接着利用自定义schema的方式将RDD转换为DataFrame。

操作结果截图+签名

（2）对“Clothing-Reviews.csv”女装电子商务评论数据集进行数据清洗，删除重复的数据，对有空缺数据的行进行删除。

操作结果截图+签名

（3）对“Clothing-Reviews.csv”女装电子商务评论数据集进行数据转换，将recommended_IND（是否推荐）列中的1替换为推荐，0替换为不推荐。

操作结果截图+签名

（4）使用createOrReplaceTempView()方法对女装电子商务评论DataFrame数据创建本地的临时视图clothing_reviews。

操作结果截图+签名

（5）查看40岁以下，不同年龄段的客户人数。

操作结果截图+签名

（6）统计recommended_IND为“不推荐”的订单的rating评分分布。

操作结果截图+签名

（7）查看评分小于等于3且为“不推荐”的订单的具体评论。

操作结果截图+签名

（8）查看不同服装分类的不推荐数量。

操作结果截图+签名

（9）获得不同服装编号clothing_id的五星好评数量，并且降序排序。

操作结果截图+签名

（10）分析“rating”评分字段和“positive_feedback_count”积极反馈数量字段之间的相关性。

操作结果截图+签名

（11）找到服装分类出现概率大于40%的类别，即支持级别为0.4。

操作结果截图+签名

（12）对age列计算近似分位数，指定的分位数概率为0.25、0.5和0.75(注意：0是最小值，1是最大值，0.5是中值median)。

操作结果截图+签名

（13）探索年龄age和评分rating等级间是否有相关性。

操作结果截图+签名

（14）利用save()函数保存数据。

操作结果截图+签名

（15）通过df.rdd.saveAsTextFile(file:///)转化成rdd，将数据保存输出到HDFS文件系统的/Chapter5目录下，并命名为reviews_two.txt

操作结果截图+签名

2、在线销售订单数据分析

现有两份在线销售数据集orders.csv和order-details.csv，是关于不同地区、多种商品和电子产品等的销售情况。数据字段及说明如下表所示。

表2orders.csv订单信息数据集字段说明

字段

含义

order_id

订单编号

order_date

订单日期

cust_id

客户编号

full_name

客户名字

city

城市

表3order-details.csv订单详细信息数据集字段说明

字段

含义

order_id

订单编号

sku

商品的编码

qty_ordered

已订购数量

price

商品价格

category

类别

discount_percent

折扣百分比

现在希望通过数据分析了解以下情况：

（1）此数据集中每个客户的下单数量是多少?

操作结果截图+签名

（2）每个城市的订单有多少?

操作结果截图+签名

（3）每个客户的消费总额是多少?

操作结果截图+签名

（4）客户的平均订单消费额是多少？

操作结果截图+签名