机器学习与数据挖掘实验-决策树.pdf

计算机

科学与年级/专

学院姓名学号

网络工业/班

程学院

实验课

机器学习与数据挖掘实验成绩

程名称

实验项指导老

实验二决策树

目名称师

实验二决策树

一、实验目的

本实验课程是计算机、智能、物联网等专业学生的一门专业课程，

通过实验，帮助学生更好地掌握数据挖掘相关概念、技术、原理、应

用等；通过实验提高学生编写实验报告、总结实验结果的能力；使学

生对机器学习算法、数据挖掘实现等有比较深入的认识。

1.掌握机器学习中涉及的相关概念、算法。

2.熟悉数据挖掘中的具体编程方法；

3.掌握问题表示、求解及编程实现。

二、基本要求

1.实验前，复习《机器学习与数据挖掘》课程中的有关内容。

2.准备好实验数据。

3.编程要独立完成，程序应加适当的注释。

4.完成实验报告。

三、实验软件

使用Python语言实现。

四、实验内容：

表4.1的西瓜数据集包括17个训练样例，请学习一个决策树，用于

预测一个西瓜是不是好瓜。具体要求如下：

（1）在生成决策树的过程中，请分别使用ID3算法、C4.5算法、CART

算法，并对比三个算法结果。其中，

ID3算法在生成决策树的各结点使用信息增益准则进行特征选择；

C4.5算法在生成决策树的过程使用信息增益比进行特征选择；

CART算法假设决策树是一个二叉树，通过递归地二分每个特征，将

特征空间划分为有限个单元，并在这些单元上确定预测的概率分布。

（2）请自己写程序实现决策树的生成过程，不要直接调用决策树算

法包。

五、实验具体实现

算法理论知识

决策树的具体流程:

(1)创建数据集

(2)计算数据集的信息熵

(3)遍历所有的特征，选择信息熵最小的特征，即为最好的分类特征

(4)根据上一步得到的分类特征分割数据集，并将该特征从列表中移除

(5)使用决策树执行分类，返回分类结果

学习的伪代码：

Iif每个子项属于同一个类，return类标签

IIelse

（1）寻找划分数据集的最好特征

（2）划分数据集

(3)创建分支结点

①for每个划分的子集

②调用分支创建函数并增加返回结果到分支结点中

（4）返回分支结点

ID3算法

生成决策树的各结点使用信息增益准则进行特征选择,存在偏向于选择取值较多的

特征的问题

C4.5算法

在生成决策树的过程使用信息增益比进行特征选择；

CART算法

剪枝算法

预剪枝：

后剪枝：

六、代码实现

0、辅助画图

#coding:utf-8

importmatplotlib.pyplotasplt

plt.rcParams[font.sans-serif]=[SimHei]#显示中文标签

plt.rcParams[axes.unicode_minus]=False#这两行需要手动设置

#使用文本注解绘制树结点

decisionNode=dict(boxstyle==,fc==)

leafNode=dict(boxstyle==,fc==)

arrow_args=dict(arrowstyle==)

defplotNode(nodeText,centerPt,parentPt,nodeType):

createPlot.ax1.annotate