《大数据》第4节大数据挖掘工具.ppt

大数据 BIG DATA 习题 of 44 2 4.1 Mahout 《大数据》配套PPT课件 Mahout 简介 定义：Apache Mahout 是一个由Java语言实现的开源的可扩展的机器学习算法库 2008年之前 2010年以后 Apache Lucene开源有哪些信誉好的足球投注网站引擎的子项目 实现Lucene框架中的聚类以及分类算法 吸纳协调过滤项目Taste成为独立子项目 发展历史 成为Apache顶级项目 实现聚类、分类和协同过滤等机器学习算法 既可以单机运行也可在Hadoop平台上运行 目标：机器学习平台，提供类似R的DSL以支持线性代数运算（如分布式向量计算）、大数据统计等基本功能 驱象人 of 44 3 4.1 Mahout 《大数据》配套PPT课件 Mahout在各平台支持的机器学习算法 算法 单机 MapReduce Spark H2O 聚类算法 — — — — Canopy deprecated deprecated — — k-means x x — — 模糊k-means x x — — 流k-means x x — — 谱聚类 — x — — 分类算法 — — — — 逻辑回归 x — — — 朴素贝叶斯 — x x — 随机森林 — x — — 隐马尔可夫模型 x — — — 多层感知器 x — — — 协同过滤算法 — — — — 基于用户的协同过滤 x — x — 基于物品的协同过滤 x x x — 基于ALS的矩阵分解 x x — — 基于ALS的矩阵分解（隐式反馈） x x — — 加权矩阵分解 x — — — 降维算法 — — — — 奇异值分解 x x x x Lanczos deprecated deprecated — — 随机SVD x x x x PCA x x x x QR分解 x x x x of 44 4 4.1 Mahout 《大数据》配套PPT课件 1.下载Mahout安装包 2. 解压并安装Mahout 3. 启动并验证Mahout 安装环境：Linux操作系统（CentOS 6.5 ）、 Hadoop平台（Hadoop 2.5.1） 镜像网站/apache/mahout/ of 44 5 4.1.1 Mahout 安装 4.1 Mahout 《大数据》配套PPT课件 同一个簇中对象具有高相似度 无监督学习算法 Canopy、k-means、模糊k-means、流k-means和谱聚类等都是聚类算法 本节重点 of 44 6 4.1.2 聚类算法 4.1 Mahout 《大数据》配套PPT课件 基于Mahout命令运行k-means算法 12个二维数据 1 10 1 11 2 10 2 11 10 1 10 2 … 运行聚类算法 （1.5，10.5） （10.5, 1.5 ） （10.5,10.5 ） 聚类中心坐标 以上述3个坐标为中心，半径为（0.5,0.5），生成3个聚类，每个聚类4个成员 3次迭代 of 44 7 4.1 Mahout 《大数据》配套PPT课件 基于Mahout API运行k-means算法 给出初始聚类中心 1 10 10 1 10 10 调用Mahout API运行k-means聚类算法,指定Hadoop配置信息、输入数据、初始聚类中心，迭代2次得到聚类结果 of 44 8 4.1 Mahout 《大数据》配套PPT课件 基于多维输入数据运行k-means算法 60维数据样本 600条60维趋势数据（600行60列） 表达了正常、循环、渐增、渐减、向上偏移和向下偏移6类趋势 每类100条 每类取一条做初始聚类中心 运行KmeansDemo类 将计算出的聚类中心数据导入到Excel文件 6个聚类中心所代表的趋势曲线 of 44 9 4.1 Mahout 《大数据》配套PPT课件 考察已被分类的样本数据，学习训练分类规则 有监督学习算法 进行输入数据的类别判定 垃圾邮件 广告点击 金融诈骗 用电异常 分类预测 垃圾邮件检测 of 44 10 4.1.3 分类算法 4.1 Mahout 《大数据》配套PPT课件 逻辑回归算法 Mahout下基于随机梯度下降（SGD）实现的逻辑回归（Logistic Regression）算法是一种二元分类算法，只能在单机上运行，适合分类算法的入门学习。 可视化表达 训练学习 模型评估 of 44 11 4.1 Mahout 《大数据》配套PPT课件 朴素贝叶斯算法 新闻网页数据 数据清洗 训练分类模型 新闻类别判定 共53条测试数据 正确分类51条 未正确分类2条 of 44 12 4.1 Mahout 《大数据》配套PPT课件 通过收集大量用户（协同）的喜好信息，以自