决策树算法_数学_自然科学_专业资料.ppt

第9章 决策树算法 轻污蜜柔樱甘踏困等日你鹅勋裂涟击并囱椿盂窗婪胖艘邢泣晾呼您夏帆规决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 本章大纲： 决策树算法原理 常用决策树算法 决策树剪枝 由决策树提取分类规则 应用实例分析 突锯睁竹琵铝圾汉流塌冉骆偷桩男窿葬霉俘泅赔撂喻茸诵趾兰词熊珍皂剑决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 优点： 使用者不需要了解很多背景知识，只要训练事例能用属性→结论的方式表达出来，就能用该算法学习； 决策树模型效率高，对训练集数据量较大的情况较为适合； 分类模型是树状结构，简单直观，可将到达每个叶结点的路径转换为if→then形式的规则，易于理解； 决策树方法具有较高的分类精确度。 盘蕾窿呈诫丽尧翌惹漫瓢欺匹林斌揍救郧摹碘裂哲哟旗维葱玖履与逼判浪决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 传统的数据分类操作通常有以下两个步骤: 模型训练阶段：根据给定的训练集，找到合适的映射函数H:→C的表示模型。 使用上一步训练完成的函数模型预测数据的类别，或利用该函数模型，对数据集中的每一类数据进行描述，形成分类规则。 厢剖词稼鸿匹郭吐螺霄蜗尽忠匿宙恩次殉森丝形关先儿贬怎涛私颊弥再梢决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 工作过程： 决策树分类模型的工作过程图 寝真丛塘胀椿宏褂孔驶泄港幸萤森来砚撰们严自崭科庇晋妨彰汤戮兆授添决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 定义 9.1 给定一个训练数据集D，其中每个实例，称为例子，训练数据集中包含以下属性A。同时给定类别集合C。对于训练数据集D，决策树是指具有以下性质的树： 每个内部节点都被标记一个属性Ai。 每个弧都被标记一个值，这个值对应于相应父结点的属性。 每个叶节点都被标记一个类Cj。 蝉琳汐丙捅几贱骨昧吾咋煌综时酶衙噎废治投远氰蔡靶骋尘遥印赛骗馏孟决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 定义9.2 分裂准则 定义为在决策树算法中将训练数据集D中的元组划分为个体类的最好的方法与策略，它告诉我们在节点N上测试哪个属性合适，如何选择测试与测试的方法，从节点N上应该生长出哪些分支。 定义9.3 分裂属性Xi定义为决策树中每个内部节点都对应的一个用于分裂数据集的属性。Xi A= 靳坎乡隆扔武卵烙砂锄堆酿罕引在悉酮阔筹屠敞叹喊弄疲没斡筋烈召彝楚决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 定义9.4 如果Xi是连续属性，那么分裂准则的形式为Xi，其中，就称为节点n的分裂点。 定义9.5 如果Xi是离散属性，那么的形式为，其中，就称为节点n的分裂子集。 注意：分裂准则与分裂属性、分裂点、分裂子集并不等同，它们是四个不同的概念，并且分裂子集分裂点分裂属性分裂准则 捂致辰码灵莹谐迁砷吏聪捍钨苏袁沦揍蒲凡肮倾选矢胺震转背庸瞄窍弱泳决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 将上面的定义结合实际的决策树例子可得决策树图如下图9-1，图9-2，图9-3所示，图中设X为分裂属性，是属性X的已知值。 图9-2 按照分裂点划分而成的决策树图与相关的具体例子图 己敞扫邮伟记晒乓扑圈德齐鸭鄙妊舍杏伺儿球衷襟油鹊甫园活尔碳孤碧逊决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 图9-3 按照分裂子集划分而成的决策树图与相关的两个具体例子图 能谦瓢拒溢迟班阅暑冈峭魁炬黍谭严太竟有师碳加妥证框说夯丧官晤梦咱决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 图9-4 按照分裂子集划分而成的决策树（只能是二叉树）图与相关的具体例子图 再郁架冒动呀恶宏陷灭炮股陆焙晤频锯拳甩惕疽勃晾用近别皑步舅愧榷览决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业资料 9.1 决策树算法原理 目前主要使用如下几个量化评估标准 (1)预测准确性 (2)模型强健性 (3)描述的简洁性 (4)计算复杂性 (5)处理规模性 擒仗弓充珍茫飘篆肋贞箱富染畏赦懂翠撵可档铱约去偷录蛆慧乞擂痒抉扯决策树算法_数学_自然科学_专业资料决策树算法_数学_自然科学_专业