- 1、本文档共56页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第五章 数据分类;5.1 引例;5.1 引例;5.1 引例;*;第五章 数据分类;5.2分类问题概述;*;5.2.1 分类的过程;5.2.1 分类的过程;5.2.1 分类的过程;*;*;5.2.2 分类的评价标准;5.2.2 分类的评价标准;*;5.2.2 分类的评价标准;5.2.2 分类的评价标准;第五章 数据分类;*;*;;;;;;;;;例:构造决策树。
下表给出了取自AllElectronics顾客数据库元组训练集。;解:由题意可知:
s=14,类标号属性“购买电脑”有两个不同值(即{会购买,不会购买}),因此有两个不同的类(即m=2)。设类C1对应于“会购买”,类C2对应于“不会购买”。则s1=9,s2=5,p1=9/14,p2=5/14。
①计算对给定样本分类所需的期望信息:
②计算每个属性的熵。
先计算属性“年龄”的熵。
对于年龄=“=30”:s11=2,s21=3,p11=2/5,p21=3/5,
对于年龄=“31…40”: s12=4,s22=0,p12=4/4=1,p22=0,
;对于年龄=“40”:s13=3,s23=2,p13=3/5,p23=2/5,
如果样本按“年龄”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(年龄)=I(s1,s2) - E(年龄)=0.246。
计算“收入”的熵。
对于收入=“高”: s11=2,s21=2,p11=0.5,p21=0.5,
对于收入=“中等”: s12=4,s22=2,p12=4/6,p22=2/4,
;对于收入=“低”: s13=3,s23=1,p13=3/4,p23=1/4,
如果样本按“收入”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(收入)=I(s1,s2) - E(收入)=0.940-0.911=0.029。
计算“学生”的熵。
对于学生=“是”:s11=6,s21=1,p11=6/7,p21=1/7,
;对于学生=“否”: s12=3,s22=4,p12=3/7,p22=4/7,
如果样本按“学生”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(学生)=I(s1,s2) - E(学生)=0.940-0.789=0.151。
计算“信用等级”的熵。
对于信用等级=“一般”: s11=6,s21=2,p11=6/8,p21=2/8,
对于信用等级=“良好”: s12=3,s22=3,p12=3/6,p22=3/6,;如果样本按???信用等级”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(信用等级)=I(s1,s2) - E(信用等级)=0.940-0.892=0.048。
由于 “年龄” 属性具有最高信息增益,它被选作测试属性。创建一个节点,用“年龄”标记,并对每个属性值引出一个分支。样本据此划分,如图所示。
;例:构造决策树。
下表给出了取自AllElectronics顾客数据库元组训练集。;收入;收入;对于收入=“中等”: s12=1,s22=1,p12=1/2,p22=1/2,
对于收入=“低”: s13=1,s23=0,p13=1,p23=0,
如果样本按“收入”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(收入)=I(s1,s2) - E(收入)=0.971-0.0.4=0.571。
;计算“学生”的熵。
对于学生=“是”:s11=2,s21=0,p11=1,p21=0,
对于学生=“否”: s12=0,s22=3,p12=0,p22=1,
如果样本按“学生”划分,对一个给定的样本分类所需的期望信息为:
因此,这种划分的信息增益是
Gain(学生)=I(s1,s2) - E(学生)=0.971-0=0.971。;计算“信用等级”的熵。
对于信用等级=“一般”:s11=1,s21=2,p11=1/3,p21=2/3,
对于信用等级=“良好”:s12=1,s22=1,p12=1/2,
文档评论(0)