判别分析-贝叶斯判别.pptVIP

第五章判别分析判别分析是多元统计中用于判别样品所属类型的一种统计分析方法。是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确定新的样品的观测数据属于那一类的统计分析方法。1判别准则：用于衡量新样品与各已知组别接近程度的思路原则。2判别函数：3基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的描述指标。4按照判别准则来分有距离判别、费希尔判别与贝叶斯判别。01判别准则：对于任给一次观测值，若它与第类的重心距离最近，就认为它来自于第类。马氏距离02距离判别法两总体的距离判别先考虑两个总体的情况，设有两个协差阵?相同的p维正态总体和，对给定的样本Y，判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。我们用马氏距离来指定判别规则，有：1、协方差相等判别函数：因此有当总体的协方差已知，但不相等当总体的协方差未知时，用样本的离差阵代替，步骤如下：分别计算各组的离差矩阵和；计算计算类的均值计算计算生成判别函数，将检验样本代入，判类。多总体的距离判别法则设有个元总体，分别有均值向量和协方差阵，对任给的元样品，判断它来自哪个总体计算到个总体的马氏距离，比较后，把判归给距离最小的那个总体，若错判概率?由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。设两总体，分别服从其线性判别函数为：不妨设，则当时，练习：P211:5-1当两总体靠得比较近时，即两总体的均值差异较小时，无论用何种判别方法，判错的概率都比较大，这时的判别分析也是没有意义的，因此只有当两总体的均值有明显差异时，进行判别分析才有意义，为此，要对两总体的均值差异性进行检验.贝叶斯判别法一、标准的Bayes判别办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，贝叶斯(Bayes)判别就具有这些优点，其判别效果更加理想，应用也更广泛。贝叶斯公式是一个我们熟知的公式距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率(先验概率)出现，也没有考虑误判之后所造成的损失的差异。321则判给，在正态的假定下，为正态分布的密度函数。设有总体，具有概率密度函数。并且根据以往的统计分析，知道出现的概率为。即当样本发生时，求属于某类的概率。由贝叶斯公式计算后验概率，有：判别规则下面讨论总体服从正态分布的情形上式两边取对数则判给。问题转化为若，则判。当协方差阵相等时去掉与i无关的项，等价的判别函数为：判别函数退化为令问题转化为若，则判。令完全成为距离判别法。令有问题转化为若，则判。当先验概率相等，即时二、考虑错判损失的Bayes判别分析设有总体，具有概率密度函数。并且根据以往的统计分析，知道出现的概率为，。D1，D2，…，Dk是R(p)的一个分划，判别法则为：关键的问题是寻找D1，D2，…，Dk分划，这个分划应该使平均错判率最小。当样品X落入Di时，判【定义】（平均错判损失）C(j/i)表示相应错判所造成的损失。则平均错判损失为：使ECM最小的分划，是Bayes判别分析的解。用表示将来自总体Gi的样品错判到总体Gj的条件概率。