章聚类分析与判别分析.ppt

8.2.4 逐步判别法 8.2 判别分析 前面所介绍的两种判别分析方法都是把原始数据中的所有变量用于建立判别函数，然而与逐步回归所考虑的问题类似，有时候可能并非所有的变量都能为判别做出“贡献” 逐步判别法是在Fisher判别法的基础上，通过加入变量筛选的功能，选择出判别能力显著的变量来建立判别函数。也就是采用“有进有出”的方法，在判别式中逐步引入变量，一边判别，一边根据引入标准引进判别能力最强的变量，同时根据剔除标准淘汰某些已经在判别式中但变得不重要的变量，直到判别式中没有不重要的变量需要剔除，也没有重要的变量可以引入的时候为止 这个筛选过程实际上就是利用假设检验来找出显著性变量，剔除不显著变量。检验的方法有很多种，包括Wilks’Lambda、Rao’s V、Smallest F Ratio等 逐步判别法 用SPSS实现逐步判别分析 第1步：选择【Analyze】下拉菜单，并选择【Classify-Discriminant】(分类—判别) 选项进入主对话框 第2步：在主对话框中将分类变量选入【Grouping Variable】，并点击进入【Define Range】定义类别范围(本例为1,2) 第3步：回到主对话框中将原始数据中的所有变量选入【Independents】。如果考虑变量的筛选，再选中【Use stepwise method】，筛选变量的方法在【Method】中指定 第4步：在【Statistics】中的【Function Coefficients】下选择输出结果【Fisher’s】和【Unstandardized】(非标准化)，点击【Continue】回到主对 框 第5步：在【Classify】中的【Display】下选择输出结果【Summary table】 和【Leave-one-out classification】(略去一个分类)，还可在【Plots】下选择【Combined-groups】(组合组)和【Territorial map】(领域图)，点击 【Continue】回到主对话框，点击【OK】 可以看到，SPSS中的逐步判别法剔除了原来的三个变量，保留了另外三个变量 逐步判别法 Stepwise Statistics 在选择的三个变量的基础上，第一个投影就能十分理想的区分出一级标枪运动员和健将级标枪运动员了，因为它的“贡献程度”（% of Variance）达到了100%。也就是说，只要把原来的六维空间中的所有样本点投影到这个方向的直线坐标轴上，就可以清晰地找到两个类别的界限，从而很容易判断一个新的样本点离哪个类别更近。那么这个投影对应的判别函数是怎样的呢？ 逐步判别法 Summary of Canonical Discriminant Functions 根据表中给出的系数值，例8.2的判别函数为： 逐步判别法 只要把原始数据中每个样品对应的3个变量值代入到上面的判别函数表达式中，就可以算出它们投影到坐标轴上的点的新坐标F Classification Statistics 在利用判别函数进行投影之后，还需要给出度量一个样品与不同类别中心距离远近的判别公式，SPSS用一张分类函数系数表给出了例8.2中两个线性分类函数的系数 逐步判别法 Classification Statistics 两个线性分类函数的具体的表达式为 逐步判别法 把每个样品的变量值x2,x5,x6代入到上述两个公式中计算得到的F1、F2分别代表了这个样品距离已知的两个类别的判别值，哪个值最大，这个点距离那个类别就最近，也就应该归属于这个类别 SPSS会自动把“训练样本”中的每个样品按照分类函数划分到不同的类别中，而我们一开始就已经知道了这些样品的正确分类结果，所以通过比较前者与后者的匹配程度，可以对分类函数的有效性进行验证 逐步判别法 可以看到，SPSS对例8.2的逐步判别分析结果是比较理想的。上半部分的判别结果100%正确，而交叉验证法得到的判别结果也只有一个样品被错误判别 Classification Statistics 本章小节 聚类分析的基本思想 分层聚类法与K-均值聚类法的基本步骤 用SPSS实现聚类分析 判别分析与聚类分析的异同 三种常用判别分析方法的基本思想 用SPSS实现逐步判别分析 * * * * * * * * * * * * * * * * * * As a result of this class, you will be able to ... 31个省市自治区小康与现代化指数的层次聚类分析： 案例 分层聚类法(聚类清单表) 步骤号 在某一步骤中参与合并的对象(第1阶段6和18首先被合并) 聚类系数表示被合并的两个类别之间的距离大小 参与合并的对象是在第几步中出现的。“0”表示