《通信数据分析与实战》课件——第八章 Spark MLlib机器学习算法库.pptxVIP

通信数据分析与实战SparkMLlib机器学习算法库第八章第1节

2知道机器学习的作用熟悉机器学习的学习方式熟悉机器学习的应用学习目标TARGET

机器学习概述机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

机器学习概述机器学习是一种能够赋予机器进行自主学习，不依靠人工进行自主判断的技术，它和人类对历史经验归纳的过程有着相似之处。

机器学习概述1.人类思考2.机器学习人类在学习成长的过程中，积累了很多历史经验，将经验进行归纳总结，得到规律，因此当我们遇到一些问题时，总能从事物的发展规律找到方向，进行推测。机器学习是对人类思考过程一个抽象，由于机器学习不是通过编程的形式得出结果，因此它的处理过程不是因果的逻辑，而是通过归纳思想得出的相关结论。

机器学习概述在机器学习领域中，按照学习方式分类，可以让研究人员在建模和算法选择的时候，考虑根据输入数据来选择合适的算法从而得到更好的效果，通常机器学习可以分为有监督学习和无监督学习两种。1.有监督学习通过已有的训练样本（即已知数据以及其对应的输出）训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。例如分类、回归和推荐算法都属于有监督学习。2.无监督学习根据类别未知（没有被标记）的训练样本，而需要直接对数据进行建模，我们无法知道要预测的答案。例如聚类、降维和文本处理的某些特征提取都属于无监督学习。

机器学习的应用1.电子商务机器学习在电商领域的应用主要涉及有哪些信誉好的足球投注网站、广告、推荐三个方面，在机器学习的参与下，有哪些信誉好的足球投注网站引擎能够更好的理解语义，对用户有哪些信誉好的足球投注网站的关键词进行匹配，同时它可以对点击率与转化率进行深度分析，从而利于用户选择更加符合自己需求的商品。2.医疗普通医疗体系并不能永远保持精准且快速的诊断，在目前研究阶段中，技术人员利用机器学习对上百万个病例数据库的医学影像进行图像识别分析数据，并训练模型，帮助医生做出更精准高效的诊断。

机器学习的应用3.金融机器学习正在对金融行业产生重大的影响，例如在金融领域最常见的应用是过程自动化，该技术可以替代体力劳动，从而提高生产力，例如摩根大通推出了利用自然语言处理技术的智能合同的解决方案，该解决方案可以从文件合同中提取重要数据，大大节省了人工体力劳动成本；机器学习还可以应用于风控领域，银行通过大数据技术，监控账户的交易参数，分析持卡人的用户行为，从而判断该持卡人信用级别。

9小结知道机器学习的作用熟悉机器学习的学习方式熟悉机器学习的应用

通信数据分析与实战SparkMLlib机器学习算法库第八章第2节

11知道MLlib库的作用知道机器学习的三大流程学习目标TARGET

MLlib的简介MLlib是Spark提供的可扩展的机器学习库，其中封装了一些通用机器学习算法和工具类，包括分类、回归、聚类、降维等，开发人员在开发过程中只需要关注数据，而不需要关注算法本身，只需要传递参数和调试参数。

机器学习的流程阶段Spark中的机器学习流程大致分为三个阶段，即数据准备阶段、训练模型评估阶段以及部署预测阶段。1.数据准备阶段在数据准备阶段，将数据收集系统采集的原始数据进行预处理，清洗后的数据便于提取特征字段与标签字段，从而生产机器学习所需的数据格式，然后将数据随机分为3个部分，即训练数据模块、验证数据模块和测试数据模块。

2．训练模型评估阶段通过SparkMLlib库中的函数将训练数据转换为一种适合机器学习模型的表现形式，然后使用验证数据集对模型进行测试来判断准确率，这个过程需要重复许多次，才能得出最佳模型，最后使用测试数据集再次检验最佳模型，以避免过渡拟合的问题。机器学习的流程阶段

3．部署预测阶段通过多次训练测试得到最佳模型后，就可以部署到生产系统中，在该阶段的生产系统数据，经过特征提取产生数据特征，使用最佳模型进行预测，最终得到预测结果。这个过程也是重复检验最佳模型的阶段，可以使生产系统环境下的预测更加准确。机器学习的流程阶段

16小结知道MLlib库的作用知道机器学习的三大流程

通信数据分析与实战SparkMLlib机器学习算法库第八章第3节

18熟悉本地向量数据类型熟悉标注点数据类型熟悉本地矩阵数据类型学习目标TARGET

数据类型本地向量1．密集向量（Dense）密集向量是由Double类型的数组支持，例如，向量（1.0，0.0，3.0）的密集向量表示的格式为[1.0，0.0，3.0]。#创建一个密集本地向量valdv:Vector=Vectors.dense(1.0,0.0,3.0)