判别分析〔第7讲〕.ppt

判别分析 上海****通信技术有限公司 Mr Jim(seniordba@) 2013-05 培训大纲 一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别 判别分析是多元统计中用于判别样品所属类型的一种统计分析方法。是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确定新的样品的观测数据属于那一类的统计分析方法。 判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。 判别目的: 1)判别函数,以便根据计量变量来确定一个观测属于哪一类 2)一组计量变量的线性组合,他能最好的区分各类 3)计量变量的子集,以便最后的分类 判别函数： 基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的描述指标。 按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别 距离判别: 根据各样品与各母体之间的距离远近做出判断 贝叶斯判别: 贝叶斯判别思想是用先验概率求出后验概率,并依据后验概率分布做出统计推断. . 费希尔判别: 费希尔判别思想主要是把两类投影到一条直线上,使组间差异尽可能大,组内差异尽可能小. 是一种先进行高维向低维投影,再根据距离判别的一种方法.借助方差分析的思想构造判别函数(相当于一种投影),使组间区别最大,组内离差最小,然后代入新样本数据,将其与判别临界值比较以确定应判为至哪一总体. 培训大纲 一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别 距离判别法 判别准则：对于任给一次观测值，若它与第 类的重心距离最近，就认为它来自于第 类。 3、当总体的协方差未知时，用样本的离差阵代替， 步骤如下： （1）分别计算各组的离差矩阵 和 ； （2）计算 （3）计算类的均值 （4）计算 （5）计算 （6）生成判别函数，将检验样本代入，判类。 培训大纲 一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别 贝叶斯判别法 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。 一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，贝叶斯(Bayes)判别就具有这些优点，其判别效果更加理想，应用也更广泛。 考虑错判损失的Bayes判别分析 【定义】（平均错判损失） 【定理】 且相应的密度函数为 ，损失为 时， 划分的贝叶斯解为 含义是：当抽取了一个未知总体的样品值x，要判别它属于哪个总体，只要先计算出k个按先验概率加权的误判平均损失 然后比较其大小，选取其中最小的，则判定样品属于该总体。 由此可见，被积函数在D1是负数时，可使ECM最小，则有分划 特别地，若 培训大纲 一、概述 二、距离判别 三、贝叶斯判别 四、费希尔判别 data d522; input group x1-x4 @@; cards; 1 228 134 20 11 1 245 134 10 40 1 200 167 12 27 1 170 150 7 8 1 100 167 20 14 2 225 125 7 14 2 130 100 6 12 2 150 117 7 6 2 120 133 10 26 2 160 100 5 10 3 185 115 5 19 3 170 125 6 4 3 165 142 5 3 3 135 108 2 12 3 100 117 7 2 ;  令 有 亦即 两总体的Fisher判别法 在上式中， 与 无关，只对方程组的解起共同扩 大倍数作用，对判别函数来讲没有影响，故可令 ，