《201103-判别分析+模型+软件实现》精选课件.ppt

判 别 分 析 (discriminant analysis) 距离判别 Fisher判别 贝叶斯（Bayes）判别 §1 什么是判别分析 某些昆虫的性别只有通过解剖才能够判别 但雄性和雌性昆虫在若干体表度量上有些综合的差异。人们就根据已知雌雄的昆虫体表度量（这些用作度量的变量亦称为预测变量）得到一个标准，并以此标准来判别其他未知性别的昆虫。 这样虽非100%准确的判别至少大部分是对的，而且用不着杀生。此即判别分析。 判别分析是利用已知类别的样本点建立判别模型，为未知样本判类的一种统计方法。 它产生于上世纪30年代。近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。 把这类问题用数学语言来表达，可以叙述如下：设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）G1，G2， …，Gk中的某一类，且它们的分布函数分别为F1(x)，F2(x)， …，Fk(x)。 我们希望利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来，并对测得同样p项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。 判别分析例子 例 中小企业的破产模型 为了研究中小企业的破产模型，选定4个经济指标： X1总负债率（现金收益/总负债） X2收益性指标（纯收入/总财产） X3短期支付能力（流动资产/流动负债） X4生产效率性指标（流动资产/纯销售额） 对17个破产企业（1类）和21个正常运行企业（2类）进行了调查，得如下资料： §2 距离判别 （一）马氏距离 距离判别的最直观的想法是计算样品到第i类总体的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。 设 是从期望μ= 和方差阵Σ= 的总体G抽得的两个观测值，则称 马氏距离和欧氏距离之间的差别 马氏距离有如下的特点： 3、若变量之间是相互无关的，则协方差矩阵为对角矩阵 例 在企业的考核种，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业经营状况的指标有： 资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数 产品净值率=净产值/总产值 三个指标的均值向量和协方差矩阵如下。现有二个企业，观测值分别为 （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？ §3 费歇（Fisher）判别法 Fisher判别法是一种先投影（降维）的方法。 考虑只有两个(预测)变量的判别问题。 假定只有两类。数据中的每个观测值是二维空间的一个点。见下页图。 这里只有两种已知类型的训练样本。一类有38个点(用“o”表示),另一类有44个点(用“*”表示)。按原来变量(横坐标和纵坐标)，不容易将这两种点分开。 于是就寻找一个方向，如下页图上的虚线方向，沿该方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个更好。 有了投影之后，再用前面讲到的距离远近的方法得到判别准则。这种先投影的判别方法就是Fisher判别法。 然而，如果组数k太大，讨论的指标太多，则一个判别函数是不够的，这时需要寻找第二个，甚至第三个线性判别函数 其特征向量构成第二个判别函数的系数。 类推得到m(mk)个线性函数。 关于需要几个判别函数的问题，需要累计判别效率达到85％以上，即有 设 为B相对于E得特征根，则 以m个线性判别函数得到的函数值为新的变量，再进行距离判别。 判别规则： §4 贝叶斯判别 一、最大后验概率准则 二、最小平均误判代价准则 一、最大后验概率准则 设有 个组 ，且组 的概率密度为