随机森林算法演示报告课件.pptxVIP

主要内容;随机森林算法原理

随机森林算法的名称清晰地表示出这个过程是通过随机的方式形成了由多个决策树组成的一片森林。

当新样本作为数据输入到构建完成的森林时，森林中的每一棵决策树就会分别进行判断，来识别这个样本所属的类别；N棵树就会有N个分类结果，随机森林集成所有的分类投票结果，统计哪一类别被判定的最多，就预测这个样本为此类别。

此处分享一个较为生动的例子来帮助大家理解：某学校进行奖学金评选，如果只有一个老师（单一决策树）来决定奖学金的归属可能产生不公正现象（过拟合现象），但是随机选取多个老师组成评审委员会（随机森林）一起进行筛选（集成），然后进行投票得出最佳选举结果（拟合），就会较为公正。;随机森林的构建

随机森林的构建有两个方面：

1、数据的随机性选取

2、待选特征的随机选取。;1.数据的随机选取

首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。

第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。;2.待选特征的随机选取

从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。

下图中，蓝色的方块代表所有可以被选择的特征，也就是待选特征。黄色的方块是分裂特征。左边是一棵决策树的特征选取过程，通过在待选特征中选取最优的分裂特征，完成分裂。右边是一个随机森林中的子树的特征选取过程。;随机森林算法实现

1.一个样本容量为N的样本，有放回的抽取N次，每次抽取1个，最终形成了N个样本。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。

2.当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件mM。然后从这m个属性中采用某种策略(比如说信息增益)来选择1个属性作为该节点的分裂属性。

3.决策树形成过程中每个节点都要按照???骤2来分裂直到不能够再分裂为止。注意整个决策树形成过程中没有进行剪枝。

4.按照步骤1~3建立大量的决策树，这样就构成了随机森林了。

;随机森林优点：

可产生高准确度的分类器；

处理大量的输入变量；

在判断类别时，可以考虑变量的重要性；

对变量类型十分友好，可以处理离散型也可以处理连续性数据，且如果有一部分资料遗失，仍然可以保证计算的准确度；

训练速度快。

;谢谢