模式识别-决策树-人脸识别.pdf

百度账号：小样整哪样。模式识别——决策树算法基于人脸数据实现 数学与计算机学院 课程名称: 模式识别 题 目: 决策树算法-基于人脸数据实现 任课老师: 王晓明 年级专业: 2011 级计算科学与技术 姓 名: 张 x 学 号: 312011080605xxx 时 间: 2013 年 11 月 10 日 第 1 页 百度账号：小样整哪样。模式识别——决策树算法基于人脸数据实现 目 录 一 决策树算法介绍 1 二 决策树算法描述 1 三 决策树算法Matlab 实现-基于人脸数据实现 7 1 数据读入 7 2 算法运行结果 10 四 总结和心得 12 五 附录——核心算法的主要源代码 13 六 参考文献 21 第 1 页 百度账号：小样整哪样。模式识别——决策树算法基于人脸数据实现 第 2 页 百度账号：小样整哪样。模式识别——决策树算法基于人脸数据实现 决策树算法 一 决策树算法介绍 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先 对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数 据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树方法最早产生于上世纪60 年代，到70 年代末。由J Ross Quinlan 提 出了ID3 算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。 C4.5 算法在 ID3 算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技 术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 决策树算法构造决策树来发现数据中蕴涵的分类规则。如何构造精度高、规 模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步， 决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集 是 根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。 第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校 正和修下 的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验 决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除。 最早比较著名的决策树构建方法就是 ID3 （交互式二分法Interactive Dichotomizer-3 ），其名字虽然是二分法，但方法也适用于每个节点下划分多个子 节点的情况。方法的原型是 Hunt 等人提出的概念学习系统（concept learning system），通过选择有辨别力的特征对数据进行划分，知道每个节点上只包含单 一类型的数据为止。 二 决策树算法描述 ID3 算法的基础是香农（Shannon）信息论中定义的熵（entropy）。信息论告 诉我们，如果一个事件有k 种可能的结果，每种结果对应的概率为P i=1，···，k ， i, 则我们对此事件的结果进行观察后得到的信息量可以用如下定义的熵来度量 第 1 页 百度账号：小样整哪样。模式识别——决策树算法基于人脸数据实现