第9章 Spark MLlib机器学习库.pptx

第9章SparkMLlib机器学习库;学习目标/Target;学习目标/Target;章节概述/Summary;目录/Contents;目录/Contents;初识机器学习;9.1.1什么是机器学习;9.1.1什么是机器学习;9.1.1什么是机器学习;9.1.1什么是机器学习;9.1.2机器学习的应用;9.1.2机器学习的应用;SparkMLlib概述;9.2SparkMLlib概述;9.2.1SparkMLlib简介;9.2.1SparkMLlib简介;9.2.2SparkMLlib工作流程;SparkMLlib在处理数据时的流程分为数据准备阶段、训练模型评估阶段以及部署预测阶段。;9.2.2SparkMLlib工作流程;9.2.2SparkMLlib工作流程;9.2.2SparkMLlib工作流程;数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;9.3数据类型;SparkMLlib基本统计;9.4SparkMLlib基本统计;9.4.1摘要统计;9.4.1摘要统计;接下来，以IntelliJIDEA为例，演示如何使用摘要统计。;9.4.1摘要统计;9.4.1摘要统计;9.4.2相关统计;9.4.2相关统计;9.4.2相关统计;9.4.3分层抽样;9.4.3分层抽样;分类;9.5分类;9.5.1线性支持向量机;9.5.1线性支持向量机;属性coefficients;创建名为Svm的Scala文件，实现使用数据结构为DataFrame的数据集训练线性支持向量机模型并获取线性支持向量机模型的系数和截距。;9.5.1线性支持向量机;9.5.2逻辑回归;9.5.2逻辑回归;9.5.2逻辑回归;9.5.2逻辑回归;9.5.2逻辑回归;案例——构建电影推荐系统;9.6案例——构建电影推荐系统;9.6.1案例分析;针对电影推荐系统，较为流行的推荐方式是协同过滤（CollaborativeFiltering），协同过滤利用大量已有的用户偏好，来估计用户对其未看过的电影的喜好程度。在协同过滤中有两个推荐方式，一种是基于电影的推荐，另一种是基于用户的推荐。;SparkMLlib定义了ALS类用于创建ALS对象，在创建该对象时可以通过一系列方法设置ALS对象。ALS对象创建完成后，通过调用该对象的fit()方法可以用于训练交替最小二乘模型，语法格式如下。;交替最小二乘模型训练完成后，SparkMLlib定义了ALSModel类，该类提供了recommendForUserSubset()方法基于用户推荐电影，语法格式如下。;9.6.2案例实现;根据案例分析，利用SparkMLlib基于用户推荐电影实现电影推荐系统。;MovieLens是历史悠久的推荐系统，它由美国明尼苏达大学计算机科学与工程学院的GroupLens项目组创办，是一个以研究为目的，非商业性质的实验性站点，本案例通过使用MovieLens提供的u.data和u.item两个样本数据集实现电影推荐。

u.data样本数据集为用户评分数据。

u.item样本数据集为电影数据。;9.6.2利用SparkMLlib实现电影推荐;本章小结