大数据分析及应用项目教程(Spark SQL)（微课版） 课件 许慧 第5、6章 电商大数据分析与探索、 Zepplin数据可视化.pptx

第5章电商大数据分析与探索

女装电子商务评论情况分析第一部分数据准备数据转换数据分析数据输出数据清洗

情境导入网购已经成为人们生活中不可或缺的一件事情，如何经营好一家线上商店是很多商家关注的问题。对于线上商店，客户对商品的评论情况对商品的销量、商店的经营发展起到了重要的作用。现有某女装线上商店的一份围绕客户评论的女装电子商务数据集Clothing-Reviews.csv。现在商家希望能帮助他们对此份数据进行分析，获得一些建设性意见，帮助商店更好的发展。字段含义order_id订单编号clothing_id服装编号age年龄review_text 评论rating评级recommended_IND是否推荐positive_feedback_count积极反馈计数class_name服装分类

学习目标和要求1、掌握从不同数据源创建DataFrames的方法。2、掌握操作DataFrame进行数据清洗的基本方法。3、掌握操作DataFrame进行数据转换的基本方法。4、掌握使用SparkSQL语句进行数据分析的方法。5、掌握持久存储数据的方法。

数据准备在实际业务中，数据的来源多种多样。SparkSQL在数据兼容方面，不仅可以直接处理RDD，也可以处理Parquet文件或者JSON文件，更可以处理外部数据库中的数据。在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格，是SparkSQL最核心的编程抽象。DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这使得SparkSQL得以洞察更多的结构信息，从而可以对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行针对性的优化，最终达到大幅提升运行效率的目标。

数据准备使用Spark库可以将不同数据来源的数据转换为DataFrame，并对数据结果进行展示。创建DataFrame的三种方法：1、使用toDF函数创建DataFrame（1）本地seq+toDF创建DataFrame。（2）通过caseclass+toDF创建DataFrame

数据准备2、使用createDataFrame函数创建DataFrame

数据准备3、从外部数据创建DataFrame（1）使用parquet文件创建valdf=sqlContext.read.parquet(/Chapter5/goods.parquet)（2）使用json文件创建valdf=spark.read.json(/Chapter5/goods.json)（3）使用CSV（Comma-SeparatedValues）文件创建1）读取CSV文件，使用类型推断创建DataFrame2）读取CSV文件，自定义schema创建DataFrame。

数据准备4、读取“女装电子商务评论”数据集（1）启动Hadoop集群和Spark集群（2）将“Clothing-Reviews.csv”女装电子商务评论数据集上传到HDFS文件系统的/Chapter5/目录下。（3）读取CSV文件，使用自定义schema方式转换为DataFrame。

数据清洗数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。在Clothing-Reviews.csv数据集中，存在一些重复数据，也有部分缺失，需要我们对其进行数据清洗。1、drop(cols)按照列名cols删除DataFrame中的列，返回新的DataFrame。此方法可以删除数据表中无用的或者不想要的数据列。删除“publisher”列。

数据清洗2、dropDuplicates(subset=None)此方法用于删除DataFrame中的重复行，subset用于指定删除重复行的时候考虑哪几列。删除重复的行：删除author列重复的行：

数据清洗3、na.drop此方法用于删除DataFrame中的null空数据，加入“any”和“all”参数可以指定删除条件，加入数字参数指定有多少个空值进行删除，加入字段名删除指定字段中的空值。对有任意一个为缺失值的行进行删除：对全部为缺失值的行进行删除：对有3个缺失值的数据行进行删除：对有两个缺失值以上的数据行进行删除：

数据清洗4、na.fill()此方法用于将DataFrame中所有缺失值填充为一个给定的字符串或数值。可以为所有缺失值指定字符串或数值，也可以为指定列