第5章-判别分析概要.ppt

主编：费宇 主编：费宇 中国人民大学出版社 * 主编：费宇 * 第5章 判别分析 * 主编：费宇 * 判别分析：是在已知样品所有可能分类的前提下，将给定的新样品按照某种分类准则判入其中某个类中的一种多元统计方法． 根据患者的各项检查指标来判断该病人属于哪类病症； 根据某地气象的记录资料来判别(预报)未来几天的天气状况； 根据某地相关经济指标判断该地区属于哪一种经济类型地区． 本章主要内容 5.1 距离判别 距离—两总体距离判别—多总体距离判别 5.2 Fisher判别 两总体Fisher判别—多总体Fisher判别 5.3 Bayes判别 两总体Bayes判别—多总体Bayes判别 5.4 案例分析与R实现 * 主编：费宇 * 5.1 距离判别 * 主编：费宇 * 采用马氏距离的原因 马氏距离综合考虑了样品数据之间的依存关系，从绝对和相对两个角度考察样品，消除了变量单位不一致的影响，更具合理性． * 主编：费宇 * 5.1.2 两个总体的距离判别 * 主编：费宇 * 5.1.2 两个总体的距离判别 则判别准则等价于： 称 W(x)为线性判别函数， a为判别系数． 当 总体均值和协方差阵未知时，可用样本均值和样本协方差阵估计： * 主编：费宇 * 则判别准则等价于： 称 W(x)为线性判别函数， a为判别系数． 当 总体均值和协方差阵未知时，可用样本均值和样本协方差阵估计： 由此构造样本判别函数： * 主编：费宇 * 因此实用的判别准则为： 当 时令 仍可采用判别准则： * 主编：费宇 * 例5.1 (昆虫性别判断) * 主编：费宇 * W2equal=function(x, mu1, mu2, S) {(mahalanobis(x,mu2, S) - mahalanobis(x,mu1, S))/2} #构造判别函数 mu1=c(6, 5); mu2=c(8, 6); S=matrix(c(9, 2, 2, 4),nrow=2); x=c(7.2, 5.6) W2equal(x, mu1,mu2, S) #将测量数据代入判别函数计算 [1] -0.053125 #协方差矩阵不相同时，可用判别函数W2eunqual( )进行计算 5.1.3 多个总体的距离判别 * 主编：费宇 * 5.1.3 多个总体的距离判别 * 主编：费宇 * 5.2 Fisher判别 Fisher于1936年提出了该判别法． 主要思想是通过将多维数据投影到一维直线上，使得同一类别(总体)中的数据在该直线上尽量靠拢，不同类别(总体)的数据尽可能分开，然后再利用前面的距离判别法来建立判别准则． 常用方法：线性判别法；非线性判别法；典型判别法等. 本章主要介绍线性判别法． * 主编：费宇 * 5.2.1 两总体的Fisher判别 * 主编：费宇 * 5.2.1 两总体的Fisher判别 * 主编：费宇 * 5.2.2 多总体Fisher判别 对于多总体情形，通常要选取多个投影，即选取多个判别函数 来进行判别． 设有k个总体G1,G2 ,···, Gk，它们有共同的协方差阵Σ，均值分别为 μ1, μ2 ,···, μk. 令 问题为如何选择a,使判别函数 的综合投影距离变差(5.14)式达到最大． * 主编：费宇 * 5.2.2 多总体Fisher判别 定理5.2 设 为 的s个非零特征根， 为相应的特征向量且满足 ，那么当 时(5.14)式达到最大，称 为第一判别函数，而 是在约束条件 之下使得(5.14)式达到最大的解，称 为第二判别函数，如此下去 ， 是在约束条件 之下使得(5.14)式达到最大的解，称 为第s个判别函数． * 主编：费宇 * 例5.2 鸢尾花(iris)数据的Fisher判别 先读取iris数据，再用软件包MASS中的线性判别函数lda( )作判别分析： data(iris) #读入数据 iris #展示数据 attach(iris) #把数据变量的名字放入内存 library(MAS