判别分析.ppt

第12章（续）判别分析 《管理统计学》 谢湘生 广东工业大学管理学院 12.3.1判别分析的基本概念与思路 1. 问题的提出 3.转化为数学问题 12.3.2 具有多个总体的距离判别问题的一般公式 12.3.3 基于数据的判别分析的实际处理（以两个总体为例） 12.3.4 示例 12.4 Fisher判别法 12.4.1 Fisher判别法的基本思想 12.4.2 多个总体的Fisher典则判别法 12.5 Bayes判别法 12.5.1 Bayes判别法思路 考虑误判损失的Bayes判别法 【定理】 若总体G1，G2，?，Gm的先验概率为 含义是：当抽取了一个未知总体的样品值x，要判别它属于那个总体，只要先计算出m个按先验概率加权的误判平均损失 由此可见，要使E(D)最小，被积函数必须在D1是负数，则有分划 特别 即误判损失相同 (线性)判别分析适用条件 各自变量是刻度级或顺序级的 各变量服从正态分布 各组的均值存在显著差异[1] 各组的协方差矩阵相等[2] 各变量互不相关或不存在多重共线性 条件不满足将影响判别效果 下表是某金融机构客户的个人资料，这些资料对一个金融机构来说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多的信息，建立客户的信用度评价体系。所选变量为： x1: 月收入 x2：月生活费支出 x3：虚拟变量，住房的所有权，自己的为“1”，租用的“0” x4： 目前工作的年限 x5： 前一个工作的年限 x6：目前住所的年限 x7：前一个住所的年限 X8: 家庭赡养的人口数 X9：信用程度，“5”的信用度最高，“1”的信用度最低。 Fisher判别的思想来源于投影，即把m组的p维数据投影(变换)到某一个方向，使得变换后的数据，同类别的点“尽可能聚在一起”，不同类别的点“尽可能分离”，以此达到分类的目的。 两类Fisher判别示意图 Y X L=b1X+b2Y G1 G2 在2维的情形，这个新的分类变量可以看成一个新的综合指标。对高维的情形，可能需要构造多个新的综合指标。即，将数据投影到一个方向上，如果还不便区分组，则再将它们投影到第2个方向，若还不够可再将它们投影到第3个方向…。每个方向就对应一个综合指标。 可以借助方差分析中的组内平方和与组间平方和的概念来寻求综合指标。这就是所谓的Fisher判别法或典则判别法。 Fisher判别法实际上是致力于寻找一个最能反映组和组之间差异的投影方向，即寻找线性判别函数 。设有m个总体 ，分别有均值向量 和协方差阵 。 对于新样本 其线性判别函数的值为 在x来自于类Gi的条件下，Y的均值和方差分别为 令B0是Y在各类中均值ei的离差平方和： B0反映出均值ei之间的离散程度。这个离散程度B0越大，就越有可能把G1, G2, …, Gm划分开来。 令E0是Y在各类中方差之和： E0越小，就表明各类的方差也越小，从而各类的数据的分布越集中，因此就越可能把G1, G2, …, Gm划分开来。 因此B0/ E0越大，类别的可分性越大。 Fisher判别法的基本思想，就是选择使得B0/ E0最大的u，作为线性判别函数 的系数向量。 具体做法 先计算矩阵B，E 然后计算矩阵E-1B的最大特征值λ，及相应的特征向量u。则u就是要求的（典则）判别函数的系数向量。 判别 对于新样本 其线性判别函数的值为Y=uTx。Y离哪个总体Gi的均值uTμi 的距离最近（即|uTx – uTμi|最小），x就属于哪个总体 可以证明，当m=2时，这里得到的线性判别函数与第3节中得到的线性判别函数是一致的。 此外，这种做法也相当于采用第一主成分来构造判别指标，对于类别数较多的情形，可能会导致信息损失太多。因此，可以像在主成分分析中那样，取足够多的主成分来构造指标。 具体做法是，求出矩阵E-1B的前t个最大特征值λ1, λ2,…, λt，及相应的特征向量u1, u2, … ut(t ? (m – 1, p))。 然后用 对Gi的综合距离最小来判断新样本x的类别。 综合距离常采用如下的平方和距离： 若对于某个i，上述平方和距离达到最小，则x属于Gi。 前面讨论的判别法虽然计算简单