《机器学习与Python实践》课件_05决策树.pptx

本章目录

01决策树原理

02ID3算法

03C4.5算法

04CART算法

1.决策树原理

01决策树原理

02ID3算法

03C4.5算法

04CART算法

1.决策树原理

根节点

长相

(rootnode)l决策树：从训练数据中学习得出一个树状

帅不帅

结构的模型。

能家庭背景l决策树属于判别模型。

好不好l决策树是一种树状结构，通过做出一系列

决策（选择）来对数据进行划分，这类似

能人品

于针对一系列问题进行选择。

好不好

l决策树的决策过程就是从根节点开始，测

上进心不能试待分类项中对应的特征属性，并按照其

有无值选择输出分支，直到叶子节点，将叶子

节点的存放的类别作为决策结果。

叶节点能不能

(leafnode)

1.决策树原理

l决策树算法是一种归纳分类算法

根节点(rootnode)

，它通过对训练集的学习，挖掘

非叶子节点

(non-leafnode)出有用的规则，用于对新数据进

(代表测试条件，对数据属性的测试)

行预测。

l决策树算法属于监督学习方法。

分支(branches)(代表测试结果)l决策树归纳的基本算法是贪心算法

，自顶向下来构建决策树。

l贪心算法：在每一步选择中都采取

叶节点(leafnode)在当前状态下最好/优的选择。

(代表分类后所获得的分类标记)

l在决策树的生成过程中，分割方法

即属性选择的度量是关键。

1.决策树原理

决策树的特点

优点：

l推理过程容易理解，计算简单，可解释性强。

l比较适合处理有缺失属性的样本。

l可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，

减少变量的数目提供参考。

缺点：

l容易造成过拟合，需要采用剪枝操作。

l忽略了数据之间的相关性。

l对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特

征。

1.决