机器学习原理与应用课件 第7章 决策树.pptxVIP

第7章 决策树1

学习目标理解决策树的基本原理及不同类别决策树算法的区别掌握运用Scikit-learn库实现决策树算法的基本流程与方法122

目录页37.1基本原理7.2应用实例决策树

7.1基本原理决策树可视为一颗用非叶节点表示特征的判别函数，叶节点表示分类结果的倒置树，其对新样本的分类过程即是根据不同层级非叶节点对应判别函数的输出，不断明确其所属类别的过程。利用决策树对新样本进行分类的关键在于提前利用训练样本构建决策树，而决策树构建的关键在于最优特征的选择，即将每个特征安置在哪个非叶节点用于相关判别函数的定义最合适。事实上，决策树的构建过程就是利用定义于特征的判别函数，将样本集不断分类为类别不确定性较小的样本子集的过程。4

7.1基本原理对于狗兔分类问题，如果先利用“尾巴特征”对样本进行分类，则兔类与狗类样本的类别不确定性均较小（兔尾巴比狗尾巴短是共识的规律），而若先利用“皮毛颜色”对样本进行分类却不易获得较好的效果（兔与狗均有白色皮毛的品种），此时需要再利用“耳朵特征”进一步对样本进行分类。5

7.1基本原理如何从原特征集中确定最优特征呢？在1975年，罗斯昆（J.RossQuinlan）提出了利用信息熵构建决策树的算法（即ID3），其中，利用信息熵对样本分类结果的影响进行度量，取得较好的效果。在此基础上，后续涌现出许多改进算法（如C4.5、C5.0与CART等）以进一步提高决策树构建的性能，相关特征选择准则包括信息增益、信息增益率、基尼指数等几种。6

7.1基本原理决策树基本算法遵循的策略是简单而直观的“分而治之”，即将一个问题分解成两个或多个相同或相关类型的子问题，直到这些问题变得能够容易直接解决。在学习生活中亦是如此，我们在遇到困难时，不应轻易退缩和放弃，而是根据现有的能力将问题不断分解，从自己会做的开始，不断优化求解的方式实现问题求解，养成不言放弃、精益专注的优秀品质。7课程思政

7.1.1ID3算法?8

7.1.1ID3算法?9

7.1.1ID3算法?10

7.1.1ID3算法?11

7.1.1ID3算法?12

7.1.1ID3算法?13

7.1.1ID3算法?14

7.1.1ID3算法?15

7.1.1ID3算法ID3算法的基本步骤可描述为：步骤1.将初始样本集作为根节点的待分类样本并从特征集中利用信息增益准则选择最优特征以对初始样本集进行分类，进而生成多个样本子集。步骤2.对于每个样本子集，将其作为非叶节点的待分类样本并利用信息增益准则从未选特征中选择最优特征以对其进行分类，进而生成更多样本子集。步骤3.重复步骤2以对持续对不同层的样本子集进行分类直至满足指定终止条件（如决策树深度）。16

7.1.2C4.5算法?17

7.1.3CART算法?18

7.1.3CART算法?19

三个算法对比算法支持模型树结构特征选择连续值处理缺失值处理剪枝ID3分类多叉树信息增益不支持不支持不支持C4.5分类多叉树信息增益比支持支持支持CART分类，回归二叉树基尼系数支持支持支持20

7.2应用实例Scikit-learn库包含DecisionTreeClassifier与DecisionTreeRegressor两种分别用于分类与回归的决策树模型，其导入方法如下：fromsklearn.treeimportDecisionTreeClassifierfromsklearn.treeimportDecisionTreeRegressor21

7.2应用实例函数原型如下：DecisionTreeClassifier(criterion=gini,splitter=best,max_depth=None,min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,random_state=None,max_leaf_nodes=None,min_impurity_decrease=0.0,min_impurity_split=None,class_weight=None,presort=False)DecisionTreeRegressor(criterion=squared_error,splitter=best,max_depth=None,min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,random_state=None,max_leaf_nod