数据挖掘基础培训.pptxVIP

数据挖掘根底培训

浪潮通信李文栋2016年7月21日

数据挖掘开展数据丰富和知识匮乏 -信息爆炸、混沌信息空间、数据过剩

数据挖掘开展

数据挖掘概念数据挖掘是啥？数据挖掘——〔DataMining，DM〕，简单的讲就是从大量数据中挖掘或抽取出知识，其表示形式有规那么、概念、模式等；又称为KDD〔KnowledgeDiscoveryfromDatabase〕，它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。

数据挖掘是多种学科交叉

数据挖掘技术分类

数据挖掘流程

数据挖掘算法常用算法

回归算法1、线性回归2、逻辑回归

线性回归假设要找一个y和x之间的规律，其中x是鞋子价钱，y是鞋子的销售量。一些往年的销售数据〔x0,y0),(x1,y1),...(xn,yn)做样本集,?并假设它们满足线性关系：y=a*x+b〔其中a,b的具体取值还不确定〕，线性回归即根据往年数据找出最正确的a,b取值，使y=a*x+b在所有样本集上误差最小。?事实上一元变量确实很直观，但如果是多元就难以直观的看出来了。比方说除了鞋子的价格外，鞋子的质量，广告的投入，店铺所在街区的人流量都会影响销量，我们想得到这样的公式：sell=a*x+b*y+c*z+d*zz+e。这个时候画图就画不出来了，规律也十分难找，那么交给线性回归去做就好。需要注意的是，这里线性回归能过获得好效果的前提是y=a*x+b至少从总体上是有道理的〔因为我们认为鞋子越贵，卖的数量越少，越廉价卖的越多。另外鞋子质量、广告投入、客流量等都有类似规律〕；但并不是所有类型的变量都适合用线性回归，前提是选好回归公式。总之：如果我们的公式假设是错的，任何回归都得不到好结果。

逻辑回归上面我们的sell是一个具体的实数值，然而很多情况下，我们需要回归产生一个类似概率值的0~1之间的数值。比方某一双鞋子今天能否卖出去？或者某一个广告能否被用户点击？我们希望得到这个数值来帮助决策鞋子上不上架，以及广告展不展示这个数值必须是0~1之间，但sell显然不满足这个区间要求。于是引入了Logistic方程，来做归一化。逻辑回归就是被归一化以后的线性回归。

逻辑回归适用性可用于概率预测，概率最高的TOP-N仅能用于线性问题，

聚类算法1、Kmeans2、LDA主题模型

Kmeans

LDA主题模型算法主题?在主题模型中，主题表示一个概念、一个方面，表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。

LDA思想如果一篇文章10%和主题A有关，90%和主题B有关，那么和主题B相关的关键字出现的次数大概会是和主题A相关的关键字出现次数的9倍。主题模型试图用数学框架来表达文档的这种特点，自动分析每个文档，并对文档内的词语进行统计，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。

LDA结果

关联规那么算法AprioriFPGrowth

Apriori①支持度：P(A?∩?B)，既有A又有B的概率②置信度：P(B|A)，在A发生的事件中同时发生B的概率?p(AB)/P(A)?????例如购物篮分析：牛奶???面包例子：[支持度：3%，置信度：40%]支持度3%：意味着3%顾客同时购置牛奶和面包置信度40%：意味着购置牛奶的顾客40%也购置面包③如果事件A中包含k个元素，那么称这个事件A为k项集事件A满足最小支持度阈值的事件称为频繁k项集。

Apriori图示

FPGrowth优势?Apriori通过不断的构造候选集、筛选候选集挖掘出频繁项集，需要屡次扫描原始数据，当原始数据较大时，磁盘I/O次数太多，效率比较低下。FPGrowth算法那么只需扫描原始数据两遍，通过FP-tree数据结构对原始数据进行压缩，效率较高。

FPGrowth

推荐算法1、ALS2、协同过滤

ALS对于一个users-products-rating的评分数据集，ALS会建立一个user*product的m*n的矩阵

其中，m为users的数量，n为products的数量假设m*n的评分矩阵R，可以被近似分解成U*(V)T

U为m*d的用户特征向量矩阵

V为n*d的产品特征向量矩阵

d为user/product的特征值的数量

协同过滤核心思想：大家一般更倾向于从口味比较类似的朋友那里得到推荐。计算相似度

基于用户推荐

基于物品推荐

分类算法1、朴素贝叶斯2、决策树3、随机森林

朴素贝叶斯

判断：X=(女性，年龄介于31~45之间，不具学生身份，收入中等)会不会办理信用卡。

解：首先根据训练样本计算各属性相对于