《Spark应用开发技术》课件——03_探索分析法律服务网站数据.pptxVIP

;本章主要讲述SparkSQL的使用。

本章主要讲述SparkDataFrame基础操作。;通过学习本节将能够学习SparkSQL、SparkDataFrame基础操作。

通过本节学习可以：

理解SparkSQL的基本概念。

掌握SparkSQL与Shell交互。

掌握创建DataFrame对象的方法。

掌握DataFrame查看数据的方法。

掌握DataFrame的查询及输出操作。

;认识SparkSQL

SparkSQL简介

SparkSQLCLI配置

SparkSQL与Shell交互

掌握DataFrame基础操作

创建DataFrame对象

DataFrame查看数据

DataFrame查询操作

DataFrame输出操作

探索分析法律服务网站数据

获取数据、网页类型分析、点击次数分析、网页排名分析

;背景

某家电子商务类的大型法律资讯网站，致力于为用户提供丰富的法律信息与专业咨询服务，并为律师与律师事务所提供卓有成效的互联网整合营销解决方案，随着其网站访问量增大，数据信息量也在大幅度增长。用户在面对大量信息时无法及时从中获得自己需要的信息，对信息的使用效率越来越低。这种浏览大量无关信息的过程，使用户需要花费大量的时间才能找到自己需要的信息，从而使得用户不断流失，给企业造成巨大的损失。为了能够更好地满足用户需求，依据其网站海量的数据，研究用户的兴趣偏好，分析用户的需求和行为，发现用户的兴趣点，从而引导用户发现自己的信息需求。为用户提供个性化的服务，并且建立网站与用户之间的密切关系，让用户对推荐系统产生依赖，从而建立稳定的企业忠实客户群，实现客户链式反应增值，提高消费者满意度。通过提高服务效率帮助消费者节约交易成本等，制定有针对性的营销战略方针，促进企业长期稳定高速发展。;背景

当用户访问网站页面时，系统会记录用户访问网站的日志，其中记录了用户IP、用户访问的时间、访问内容等多项属性的信息，各个属性的说明如表所示

;背景;获取数据

;获取数据

在Hive中创建数据库law

在law数据库下创建law表

将数据导入到law表

;网页类型分析

;网页类型统计

从中发现点击与咨询相关的网页（网页类型为101，http://www.*.cn/ask/）的记录占比为49.16%，其次是其他类型网页（网页类型为199）占比24.05%，然后是知识相关网页（网页类??为107，http://www.*.com/info）占21.84%。

;通过观察类别为199的网页，发现其页面信息多数与法律法规相关，所以统计类别为199，并且包含法律法规的记录个数

可以得到类别为199并且包含法律法规记录个数为47407。综合可得199的记录数应该为153992，而301的记录数应该为65837。因此可以得到用户点击页面类型的排行榜为：咨询相关、知识相关、其他方面的网页、法规（类型为301）、律师相关（类型为102）。可以初步得出：相对于长篇的知识，用户更加偏向于查看咨询或者进行咨询。;咨询类别内部统计

进一步针对咨询类别内部进行统计分析，统计内容为101网页类型的子类型、记录数及其所占101网页类型总记录百分比

;咨询类别内部统计

浏览咨询内容页（101003）记录最多，其次是咨询列表页（101002）和咨询首页（101001）。结合上述初步结论，可以得出用户都喜欢通过浏览问题的方式找到自己需要的信息，而不是以提问的方式或者查看长篇知识的方式。

;网页中带有“?”记录统计

统计所有访问网页中带有“？”的总记录数。统计分析访问网页中带有“？”的所有记录中，各网页类型、记录数、占访问网页中带有“？”的记录数的百分比

;网页中带有“?”记录统计

包含“？”总记录数为65477，特别在其他网页这一类型中占了98%左右，比重较大，因此需要进一步分析该类型网页的内部规律，但在知识相关与法规专题中的占比仅为1%左右。

;进行数据查看后，发现大部分网址以如下形式存在

http://www.XXX.cn/guangzhou/p2lawfirm地区律师事务所

http://www.XXX.cn/guangzhou地区网址

http://www.XXX.cn/ask/ask.php咨询网页

http://www.XXX.cn/ask/midqueshtml中间类型网页

http://www.XXX.cn/ask/exp/4317.html咨询经验

http://www.XXX.cn/ask/online/138.html在线咨询页

;统计分析其他类型网页的内部规律

;统计分析其他类型网页的内部规律

;统计“瞎逛用户”点击的网页类型

在查看数据的过程中，发现存在一部分