第八章判别分析.ppt

检查判别效果的方法 自身验证 将用来建立判别函数的各样品代入判别函数中，看看错判情况是否严重。自身验证效果好，并不能说明该函数用来判别外部数据的效果也好，实用价值不是很大。 样本二分法 将样本随机分为两部分：分析样本和验证样本，一般比例2：1，要求样本容量较大，判别函数不稳定 交互验证（Cross validation） 在建立判别函数时依次去掉一例，然后用建立起的判别函数对该例进行判别，比较有效地避免异常点的干扰 * 对比两总体均值是否相等的检验统计量 Bayes 统计思想 假定对研究对象已有一定的认识，而这种认识常常用先验概率分布描述； 然后取得一个样本，用样本提供的信息再修正已有的认识，从而可以得到后验概率分布； 各种统计推断都通过后验概率分布进行。 最大后验准则 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人？ Bayes判别的基本思想是认为所有G个类别都是空间中互斥的子域，每个观测都是空间中的一个点。在考虑先验概率的前提下，利用Bayes公式按照一定准则构造一个判别函数，分别计算该样品落入各个子域的概率，所有概率中最大的一类就被认为是该样品所属的类别。 Bayes判别准则： 使错判造成的损失为最小 Bayes判别 错判损失如何定义？ 设有G个总体：ξ1,ξ2,…,ξg,…,ξG 其中ξg 的 p 维分布密度函数 ξg ～ fg (x1, x2,…, xp)≡ fg (x) g =1, 2,…,G 设D1, D2,…, DG是p维空间R p的一个划分： D1, D2,…, DG 互不相容 D1∪D2∪…∪DG = R p 对新的样品x的判别规则： 若x∈Dg，则判x∈ξg , g=1,2,…,G 划 分 损失函数 以L(h｜g)表示样品来自第g个总体，而被错判为第h个总体所造成的损失 h=g h≠g 错判概率 发生错判的概率 b c g h 先验概率 第g个总体出现的先验概率为 q g ， g = 1, 2,…, G 平均损失 利用损失函数、错判概率、先验概率，可以计算: 通过划分D1, D2,…, DG ，按判别规则进行判别而产生的平均损失 Bayes解 所谓Bayes判别法： 就是要选择D1 , D2 ,… , DG ，使平均损失 I(D1, D2,…, DG) 达到最小， 常称此解为Bayes解 最小Bayes解的简化 引入 Eh(x) 要求 Bayes 解， 只要求得使 Eh(x) 为最小的h值 取定样品 x 下， 使Eh(x)为最小的Bayes解， 也就是使后验平均损失最小的Bayes解 L(h｜g)的简化 各种错判的损失一样，都定义为1 Eh(x)的简化 求Eh(x)的最小值等价于 求q h f h(x)的最大值 相当于求后验概率的最大值 Bayes判别规则 若q h f h(x)= max q g f g(x) ， 则: 判 x ∈ ξh , h=1, 2,…,G 两类判别 假定ξg～N p(μg ,∑), g = 1,2， 对新样品x： 若q1 f1(x)＞q2 f2(x)，则: 判x∈ξ1 若q1 f1(x)＜q2 f2(x)，则: 判x∈ξ2 若q1 f1(x) = q2 f2(x)，则: 任 判 等价于 若令 又等价于 多类判别 假定ξg～Np(μg ,∑), g=1, 2,…,G 两边取对数，得判别函数 当μg ,∑ 未知时，取样本作估计，则判别函数为： 多类判别规则 若uh(x)= max u g(x) ， 则判 x ∈ξh , h=1, 2,…,G 先验概率的常用取法 1.先验概率取样品出现的频率： q g = n g／n , g = 1, 2,…,G 2.认为总体以等概率出现，即 q g = 1／G , g = 1, 2,…,G 距离判别、Fisher判别与 Bayes判别 当总体为等协方差的正态分布，且先验概率q g相等时，Bayes判别即为距离判别 在具有等协方差的两个