菊安酱的机器学习第2期-决策树 （直播版）.pdfVIP

菊安酱的直播间： 菊安酱的机器学习第2期 菊安酱的直播间： 每周一晚8:00 菊安酱和你不见不散哦~(^o^)/~   更新日期：2018-11-11 作者：菊安酱 课件内容说明： 本文为作者原创内容，转载请注明作者和出处 如果想获得此课件及完整视频，可扫描下面二维码，回复k进群   菊安酱 1 菊安酱的直播间： 决策树 菊安酱的机器学习第2期 决策树 一、概述 什么是决策树 二、决策树的构建准备工作 1.特征选择 1.1 香农熵及计算函数 1.2 信息增益 2. 数据集最佳切分函数 3. 按照给定列切分数据集 三、递归构建决策树 1. ID3算法 2. 编写代码构建决策树 四、决策树的存储 五、使用决策树执行分类 菊安酱 2 菊安酱的直播间： 一、概述 决策树（Decision Tree）是有监督学习中的一种算法，并且是一种基本的分类与回归的方法。也就是说，决策树有 两种：分类树和回归树。这里我们主要讨论分类树，后面再为大家讲解回归树。 什么是决策树 让我们从养宠物开始说起~ 通过上面的例子，我们很容易理解：决策树算法的本质就是树形结构，我们可以通过一些精心设计的问题，就可以 对数据进行分类了。在这里，我们需要了解三个概念： 节点 说明 根节点 没有进边，有出边 中间节点 既有进边也有出边，但进边有且仅有一条，出边也可以有很多条 叶节点 只有进边，没有出边，进边有且仅有一条。每个叶节点都是一个类别标签 *父节点和子节点 在两个相连的节点中，更靠近根节点的是父节点，另一个则是子节点。两者是相对的。 我们可以把决策树看作是一个if-then规则的集合。将决策树转换成if-then规则的过程是这样的： 由决策树的根节点到叶节点的每一条路径构建一条规则 路径上中间节点的特征对应着规则的条件，也叶节点的类标签对应着规则的结论 决策树的路径或者其对应的if-then规则集合有一个重要的性质：互斥并且完备。也就是说，每一个实例都被 有且仅有一条路径或者规则所覆盖。这里的覆盖是指实例的特征与路径上的特征一致，或实例满足规则的条 件。 菊安酱 3 菊安酱的直播间： 二、决策树的构建准备工作