(完美版)决策树.精品文档.pptxVIP

决策树PPT;决策树;1.1决策树模型与学习;决策树模型;决策树学习算法的特点;决策树学习的主要算法;例1.找对象;决策树与if-then规则;决策树与条件概率分布;决策树学习;决策树学习;1.2特征选择

特征选择问题;ID;信息增益;熵-就分类而言，所有成员都属于一类，熵为零；不同类别

数目相等，则熵等于1，类别数目不等，则熵介于0,1之间。;条件熵;信息增益;信息增益的具体公式;定义一个高度，当决策树达到该高度时就可以停止决策树的生长，这是一种最为简单的方法；

5在生成的过程中，用信息增益比来选择特征。

在实际生活中，我们听取一个人的意见，会考虑这个人过去的意见是否有用，从而加大或者减少权值。

本质仍然是分类问题：对于某个电影，有N个决策树，每个决策树对该电影有1个分类(1、2、3、4、5类)，求这个电影应该属于哪一类(可以是小数：分类问题变成了回归问题)

也即确定选择特征的准则。

有多种不同的方式可以让决策树停止生长，下面介绍几种停止决策树生长的方法：

现实中决策树学习通常采用启发式方法，即局部最优。

对于完全决策树T的每个非叶结点计算α值，循环剪掉具有最小α值的子树，直到剩下根节点。

在决策树模型搭建中，我们使用的算法对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据或非事件数据，可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。

产生过度拟合数据问题的原因有哪些？

在实际生活中，我们听取一个人的意见，会考虑这个人过去的意见是否有用，从而加大或者减少权值。

使用明确的标准来衡量训练样例和决策树的复杂度，当编码长度最小时，停止树增长，如MDL(MinimumDescriptionLength)准则。

*从所有属性中随机选择k个属性，选择最佳分割属性

这些分类器组成的“总分类器”，仍然叫做随机森林。

WR：加权得分(weightedrating)

WR：加权得分(weightedrating)

C4.;例1.3对表1.1所给的训练数据集D,

根据信息增益准则选择最优特征。;信息增益比;1.3决策树的生成

算法;例1.4对表1.1的训练数据集，利用ID3算法建立决策树;;补充：如何解决决策树的过拟合问题;补充：如何解决决策树的过拟合问题——概念;二.产生过度拟合数据问题的原因有哪些？;三.如何解决过度拟合数据问题？;的生成算法;1.4决策树的剪枝;算法1.4树的剪枝算法;关于剪枝的补充——先剪枝;补充：关于剪枝——先剪枝;关于剪枝的补充——后剪枝;补充：关于剪枝的准则;补充：关于剪枝的准则;REP——错误率降低剪枝;Pesimistic-ErrorPruning(PEP,悲观错误剪枝）;PEP——悲观错误剪枝;PEP续

的标准误差内。对于样本的误差率e，我们可以根据经验把它估计成各种各样的分布模型，比如是二项式分布，比如是正态分布。

那么一棵树错误分类一个样本值为1，正确分类一个样本值为0，该树错误分类的概率（误判率）为e（e为分布的固有属性,可以通过

统计出来），那么树的误判次数就是伯努利分布，我们可以估计出该树的误判次数均值和标准差：;PEP续

把子树替换成叶子节点后，该叶子的误判次数也是一个伯努利分布，其概率误判率e为(E+0.5)/N，因此叶子节点的误判次数均值为

使用训练数据，子树总是比替换为一个叶节点后产生的误差小，但是使用校正后有误差计算方法却并非如此，当子树的误判个数大过对应叶节点的误判个数一个标准差之后，就决定剪枝：

这个条件就是剪枝的标准。当然并不一定非要大一个标准差，可以给定任意的置信区间，我们设定一定的显著性因子，就可以估算出误判次数的上下界。;PEP——小例题;Cost-ComplexityPruning（CCP，代价复杂度剪枝);例子;CCP续;CCP续;几种后剪枝方法的比较;1.5CART（分类与回归树）算法;特征选择是决定用哪个特征来划分特征空间。

随机森林应用非常广泛，根据目标变量的取值类型大致可分为两类

这些分类器组成的“总分类器”，仍然叫做随机森林。

做100次bootstrap，每次得到的数据Di，Di的长度为N

这里生成的决策树只用到两个特征（两个内节点），ID3算法容易存在过拟合问题。

有多种不同的方式可以让决策树停止生长，下面介绍几种停止决策树生长的方法：

先剪枝方法不但相对简单，效率很高，而且不需要生成整个决策树，适合于解决大规模问题。

这样的决策树等价于递归地二分每个特征。

过度拟合（overfitting）：如果决策树对训练样本的特征描述得“过于精确”，无法实现对新样