机器学习__CART算法.pptxVIP

CART算法 CART算法CART与C4.5类似，是决策树算法的一种。基本思想CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。 CART算法CART算法由以下两步组成：决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时损失函数最小作为剪枝的标准。 CART算法决策树生成采用的是一种二分循环分割的方法，每次都把当前样本集划分为两个子样本集，使生成的决策树的结点均有两个分支，这样就构造了一个二叉树。用Gini指数最小化准则来进行分裂属性的选择?反映了从 D 中随机抽取两个样例，其类别标记不一致的概率。如果一个数据集D包含n个类 CART算法例：数据集D有9 个样本是buys_computer = “yes” ， 5 个是“no”buys_computer?yesno CART算法Gini指数反映了从 D 中随机抽取两个样例，其类别标记不一致的概率。Gini(D,a) 越小，分裂后产生的数据子集 的纯度越高。属性 a 的基尼指数：如果一个数据集D包含n个类??? CART算法属性 a 的基尼指数：?例：属性“student”的Gini指数计算过程如下?属性“student”有yes和no两个属性值：student = yes的样本有7个，其中类别为yes的有6个student=no的样本有7个，其中类别为yes的有3个 CART算法?incomelowmediumhighincomehighmediumlow或者incomemediumhighlow在候选属性集合中，选取那个使划分后基尼指数最小的 CART算法?incomehighmediumlow? CART算法?incomehighmediumlowincomelowmediumhigh或者incomemediumhighlowGini{medium,low} is 0.443Gini{medium,high} is 0.450Gini{low,high} is 0.458? CART算法ID3或C4.5 算法结果CART 算法结果 CART算法决策树的可视化graphviz的安装，下载地址在：/安装python插件graphviz：pip install graphviz(安装python插件pydotplus: pip install pydotplus CART算法小结 THANKS