分类树与随机森林模型讲座.分类树与随机森林模型讲座.pptx

机器学习分类树与随机森林

分类学习模型

如今许多分类技术或分类模型已经被开发出来用于预测定性变量，其有logistic回归、线性判别，以及决策树、随机森林、提升法以及支持向量机等。

中级方法高级方法

√分类树

提升算法与随机森林

支持向量机

□logistic回归分析

□线性判别分析

□K-nearestneighbor

机器学习之分类树模型

cheap

white

喜欢

价格

big

分类树基本原理

ID

年龄

有工

作

有自己的房子

信贷情况

是否公务员

类别(是否同

意贷款)

1

青年

否

否

一般

否

否

2

青年

否

否

好

否

否

3

青年

是

否

好

是

是

4

青年

是

是

一般

否

是

5

青年

否

否

一般

否

否

6

中年

否

否

一般

否

否

7

中年

否

否

好

否

否

8

中年

是

是

好

是

是

9

中年

否

是

非常好

是

是

10

中年

否

是

非常好

是

是

11

老年

否

是

非常好

是

是

12

老年

否

是

一般

否

否

13

青年

是

否

一般

是

否

14

老年

是

否

非常好

是

是

15

老年

否

否

一般

否

否

基本原理：概念

决策树(DECISION)可以用于分类与回归，分别称为分类树与回归树，由于回归树的效果一般不如线性回归，所以本次讲座主要讲授分类树的应用。首先通过一个例子来说明决策树的概念：

本

质上决策树是一组if-then规则的组合：

(1)如果申请者有自己的房子，则同意贷款；

(2)如果申请者没有自己的房子，但有工作，则同意贷款；

(3)如果申请者既没有自己的房子，也没有工作，则不同意贷款。

基本原理：

我们需要的是一个与训练数据不相矛盾(或矛盾较少),同时具有很好的泛化能力的决策树，即对未知个例有很好的预测。比如下面的分类树模型：

有工作

否

不同意贷款

有自己的房子

是否

同意贷款

同意贷款

是

ID

有自己的房子

有工作

年龄

信贷情况

是否公

务员

类别(是否同意贷款)

结果

4

是

是

青年

一般

否

是

同意

8

是

是

中年

好

是

是

9

是

否

中年

非常好

是

是

10

是

否

中年

非常好

是

是

11

是

否

青年

非常好

是

是

12

是

否

老年

一般

否

否

3

否

是

青年

好

是

是

同意

13

否

是

青年

一般

是

否

14

否

是

青年

非常好

是

是

1

否

否

青年

一般

否

否

不同意

2

否

否

青年

好

否

否

5

否

否

青年

一般

否

否

6

否

否

中年

一般

否

否

7

否

否

中年

好

否

否

15

否

否

老年

一般

否

否

基本原理：概念

决策树分类效果有自己的房子

同意贷款不同意贷款

分类树模型在处理

高纬度数据时有先天优势。

是

同意贷款

否

是

有工作

否

基本原理：概念

决策树(Decision)是一种分类与回归方法。在分类问题中，

决策树模型基于特征变量对分析实例进行分类，这些分类规则

呈树状结构。其主要的优点是模型有较好的可读性，分类速度

快。决策树有结点(node)和有向边(directededge)组成。结点有两种：内部结点(internal)和叶结点(leafnode)。内部结点表示特征或属性，叶结点表示分类。

有自己的房子

有工作

否

不同意贷款

是

同意贷款

是

同意贷款

否

同意贷款不同意贷款

Leaf23:这两个子集分类效果不错!可以停止分类，预测类别定为该子类最常见的类别。

基本原理：运算过程

Step2:这一子集分类效果不好，需要继续分割，比如选择“有工作”变量继续往下分割

Leaf1:该子集分类效果很好!可以停止继续分割。预测类别定为该子类最

常见的类别。

Stepl.选择“有自己的房子”变量对样本进行分割

是

同意贷款

否

是

有工作

否

有自己的房子

基本原理：运算过程

有工作

否

不同意贷款

每个节点的分类效果怎么衡量?

是

同意贷款

是

同意贷款

有自己的房子

否

ID

有自己的房子

有工作

年龄

信贷情况

是否公务员

类别(是否同意贷款)

结果

4

是

是

青年

一般

否

是

同意

8

是

是

中年

好

是

是

9

是

否

中年

非常好

是

是

10

是

否

中年

非常好

是

是

11

是

否

青年

非常好

是

是

12

是

否

老年

一般

否

否

3

否

是

青年

好

是

是

同意

13

否

是

青年

一般

是

否

14

否

是

青年

非