商务大数据分析导论 课件 项目一 数据分析算法基础.pptx

商务大数据分析

导论

目录项目一数据分析基础项目二大数据分析算法项目三创业实践：数据采集与整理 项目四创业实践：构建数据模型项目五创业实践：认识客户价值项目六创业实践：数据可视化项目七数字化创新创业实践

项目一数据分析基础

项目一数据分析基础任务一大数据分析基础知识 1.大数据分析的几对概念 1.1机器学习与深度学习 1.2监督学习与无监督学习 1.3训练集、验证集和测试集 2.大数据分析流程 2.1.数据分析标准流程 2.2.数据分析标准流程的案例解析3.大数据分析方法概览 4.本书主要使用的大数据分析工具 4.1.PowerBI简介 4.2.Python简介 4.3.Orange3.0主要功能

1.大数据分析的几对概念1.1机器学习与深度学习1.机器学习机器学习是人工智能在近期最重要的发展之一。机器学习的理念是，不将智能看作是给机器传授东西，而是机器会自己学习东西。2.深度学习深度学习是目前关注度很高的一类算法，深度学习（DeepLearning，DL）属于机器学习的子类。它的灵感来源于人类大脑的工作方式，是利用深度神经网络来解决特征表达的一种学习过程。人工智能、机器学习、深度学习关系如图所示。

1.大数据分析的几对概念1.2监督学习与无监督学习通过建立模型进行自我学习，那么学习方法有哪些呢？（1）监督学习监督学习就是训练机器学习的模型的训练样本数据有对应的目标值，监督学习就是通过对数据样本因子和已知的结果建立联系，提取特征值和映射关系，通过已知的结果，已知数据样本不断的学习和训练，对新的数据进行结果的预测。（2）无监督学习无监督学习跟监督学习的区别就是选取的样本数据无需有目标值，我们无需分析这些数据对某些结果的影响，只是分析这些数据内在的规律。（3）半监督学习半监督学习是监督学习和无监督学习相互结合的一种学习方法，通过半监督学习的方法可以实现分类、回归、聚类的结合使用。（4）强化学习强化学习是一种比较复杂的机器学习方法，强调系统与外界不断的交互反馈，它主要是针对流程中不断需要推理的场景，比如无人汽车驾驶，它更多关注性能。它是机器学习中的热点学习方法。

1.大数据分析的几对概念1.3训练集、验证集和测试集1.训练集(trainset)用于训练有监督模型，拟合模型，调整参数，选择入模变量，以及对算法做出其他抉择；2.测试集(testset)用于评估训练出的模型效果，但不会改变模型的参数及效果，一般验证模型是否过拟合或者欠拟合，决定是否重新训练模型或者选择其他的算法；3.验证集(validationset)因为训练集和测试集均源自同一分布中，随着时间的流逝，近期样本的分布与训练模型的样本分布会有变化，需要校验训练好的模型在近期样本(验证集)是否有同样的效果，即模型的稳定性、鲁棒性、泛化误差。

2.大数据分析流程大数据特点5个V：数据量大（Volume）、速度快（Velocity）、类型多（Variety）、价值（Value）、真实性（Veracity）。数据分析工具各种厂商开发了数据分析的工具、模块，将分析模型封装，使不了解技术的人也能够快捷地实现数学建模，快速响应分析需求。传统分析在数据量较少时，传统的数据分析已能够发现数据中包含的知识，包括结构分析、杜邦分析等模型，方法成熟，应用广泛。常规分析揭示数据之间的静态关系；分析过程滞后；对数据质量要求高。随着计算机科学的进步，数据挖掘、商务智能、大数据等概念的出现，数据分析的手段和方法更加丰富。数据挖掘就是充分利用了统计学和人工智能技术的应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。同时将统计学和计算机技术等多学科进行结合，揭示数据之间隐藏的关系将数据分析的范围从“已知”扩展到“未知”，从“过去”推向“将来”。商务智能一系列以事实为支持，辅助商业决策的技术和方法，曾用名包括专家系统、智能决策等，一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成对数据分析的体系化管理，数据分析的主体依然是数据挖掘。大数据技术从多种类型的数据中，快速获取知识的能力及数据挖掘技术的衍生。数据可视化大数据时代，展示数据可以更好辅助理解数据、演绎数据。

2.1数据分析标准流程（图）2.大数据分析流程（1）业务理解（2）数据理解（3）数据准备（4）建立模型（5）评估模型（6）部署

2.1数据分析标准流程（图）2.大数据分析流程（1）业务理解（2）数据理解（3）数据准备（4）建立模型（5）评估模型（6）部署

2.2数据分析标准流程的案例解析案例：农夫山泉用大数据卖矿泉水2.大数据分析流