数据挖掘原理与算法改.ppt

朴素贝叶斯分类举例数据样本用属性age，income，student和credit_rating描述。类标号属性buys_computer具有两个不同值（即{yes，no}）。设C1对应于类buys_computer=”yes”，而C2对应于类buys_computer=”no”。我们希望分类的未知样本为:X=（age=”=30”，income=”medium”，student=”yes”，credit_rating=”fair”）。第69页,共94页，星期六，2024年，5月朴素贝叶斯分类举例(1)我们需要最大化P(X|Ci)*P(Ci)，i=1，2。每个类的先验概率P(Ci)可以根据训练样本计算： P(buys_computer=”yes”)=9/14=0.643， P(buys_computer=”no”)=5/14=0.357。(2)为计算P(X|Ci)，i=1，2，我们计算下面的条件概率： P(age=30|buys_computer=”yes”)=2/9=0.222， P(age=30”|buys_computer=”no”)=3/5=0.600， P(income=”medium”|buys_computer=”yes”)=4/9=0.444， P(income=”medium”|buys_computer=”no”)=2/5=0.400， P(student=”yes”|buys_computer=”yes”)=6/9=0.677， P(student=”yes”|buys_computer=”no”)=1/5=0.200， P(credit_rating=”fair”|buys_computer=”yes”)=6/9=0.667， P(credit_rating=”fair”|buys_computer=”no”)=2/5=0.400。(3)假设条件独立性，使用以上概率，我们得到： P(X|buys_computer=”yes”)=0.222*0.444*0.667*0.667=0.044，P(X|buys_computer=”no”)=0.600*0.400*0.200*0.400=0.019，P(X|buys_computer=”yes”)*P(buys_computer=”yes”)=0.044*0.643=0.028P(X|buys_computer=”no”)*P(buys_computer=”no”)=0.019*0.357=0.007。因此，对于样本X，朴素贝叶斯分类预测buys_computer=”yes”。第70页,共94页，星期六，2024年，5月第三章分类方法

内容提要分类的基本概念与步骤基于距离的分类算法决策树分类方法贝叶斯分类规则归纳与分类有关的问题第71页,共94页，星期六，2024年，5月规则归纳常见的采用规则表示的分类器构造方法有:利用规则归纳技术直接生成规则利用决策树方法先生成决策树，然后再把决策树转换为规则；使用粗糙集方法生成规则；使用遗传算法中的分类器技术生成规则等。本节将只讨论规则归纳方法。我们这里讨论的规则归纳算法，可以直接学习规则集合，这一点与决策树方法、遗传算法有两点关键的不同。它们可学习包含变量的一阶规则集合：这一点很重要，因为一阶子句的表达能力比命题规则要强得多。这里讨论的算法使用序列覆盖算法：一次学习一个规则，以递增的方式形成最终的规则集合。第72页,共94页，星期六，2024年，5月规则归纳(续)规则归纳有四种策略：减法、加法，先加后减、先减后加策略。减法策略：以具体例子为出发点，对例子进行推广或泛化，推广即减除条件（属性值）或减除合取项（为了方便，我们不考虑增加析取项的推广），使推广后的例子或规则不覆盖任何反例。加法策略：起始假设规则的条件部分为空（永真规则），如果该规则覆盖了反例，则不停地向规则增加条件或合取项，直到该规则不再覆盖反例。先加后减策略：由于属性间存在相关性，因此可能某个条件的加入会导致前面加入的条件没什么作用，因此需要减除前面的条件。先减