统计学 多元统计分析.ppt

第十章 多元统计分析 如果系数uij满足 ；而且系数uij的确使yi、与yj(i≠j)相互无关，并使y1是x1,x2,…,xp的一切线性组合中方差最大者，y2是与y1不相关的x1,x2,…,xp的所有线性组合中方差最大者，……，yp是与y1,y2 ,…，yp-1都不相关的x1,x2,…,xp的所有线性组合中方差最大者,则称y1,y2,…,yp为原变量的第一,第二, …，第p主成分。 判别效果的评价 每次从已知类别的样本中剔除一个样本点，用剩余的样本建立判别函数，然后用这一判别函数去判别被剔除的样本；依此类推，直到所有已知类别的样本都被判别过。记下所有被错判的样本，计算出每个总体中的错判率和总的错判率，根据错判率的大小来衡量判别效果。 基本步骤 1. 计算判别函数； 2. 检验判别效果； 3. 根据判别函数对待判样本进行判别所属类别。 应用实例 【例10.4】 13个地区按经济效益已分为两大类，若又取得三个地区（山东、河南、湖北）的资料，试对其进行判别分析。 * 南京财经大学统计学系 本章内容 第一节 主成分分析 一、基本思想 二、数学模型 三、模型的求解 四、主成分的性质 五、基本步骤与应用实例 第二节 因子分析 一、基本思想 二、数学模型 三、因子载荷矩阵的统计含义 四、因子的求解 五、因子得分 六、基本步骤与应用实例 第三节 聚类分析 一、基本思想 二、统计量 三、分类方法 四、基本步骤与应用实例 第四节 判别分析 一、基本思想 二、基本方法 三、判别效果的评价 四、基本步骤与应用实例 基本思想 主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。 二维空间 多维空间 数学模型 旋转变换的目的是为了使得n个样本点在y1轴方向上的离散程度最大，即y1的方差最大，变量y1代表了原始数据的绝大部分信息，在研究问题时，即使不考虑变量y2也损失不多的信息。 y1与y2除起了浓缩作用外，还具有不相关性。 y1称为第一主成分，y2称为第二主成分。 x1 y1 x2 y2 数学模型 数学模型 模型的求解 在应用主成分分析研究问题时，通常先将数据标准化，以消除量纲对结果的影响。标准化的常用公式为： 为了求出主成分，只需求样本协方差矩阵S或相关系数矩阵R的特征根和特征向量就可以。 (可以证明，变量x1，x2，…，xp标准化以后，其协方差矩阵S与相关系数矩阵R相等。 ) 主成分的性质 性质1：第k个主成分yk的系数向量是第k个特征根λk所对应的标准化特征向量Uk。 性质2：第k个主成分的方差为第k个特征根λk，且任意两个主成分都是不相关的，也就是主成分y1,y2,…,yp的样本协方差矩阵是对角矩阵。 主成分的性质 性质3：样本主成分的总方差等于原变量样本的总方差。 性质4：第k个样本主成分与第j个变量样本之间的相关系数为： 该相关系数又称为因子载荷量。 主成分个数的选取 基本步骤 （1）对原变量的样本数据矩阵进行标准化变换 （2）求标准化数据矩阵的相关系数矩阵R （3）求R的特征根及相应的特征向量和贡献率等 （4）确定主成分的个数 （5）解释主成分的实际意义和作用 应用实例 【例10.1】我国2006年各地区全部国有及规模以上非国有工业企业主要经济效益指标见表10.1，对各地区经济效益作出分析。 操作 基本思想 因子分析的基本思想是通过对变量相关系数矩阵内部结构的研究，找出能够控制所有变量的少数几个潜在随机变量去描述多个显在随机变量之间的相关关系，换句话说，因子分析是把每个可观测的原始变量分解为两部分因素，一部分是由所有变量共同具有少数几个公共因子构成的，另一部分是每个原始变量独自具有的，即特殊因子部分，对于所研究的问题就可试图用最少个数的不可观测的公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。 数学模型 符号与假定 设有n个样本，每个样本观测p个变量，记： 原始变量矩阵为X： ，公共因子变量矩阵为F： ， 特殊因子矩阵为E： 数学模型 假定因子模型具有以下性质： 1. E(x)=0，cov(x)=∑ 2. E(F)=0，cov(F)=I 3. E(E)=0，cov(e)=diag(σ12, σ22,…, σp2) 4. Cov(F,E)=0 数学模型 若用矩阵形式表示，则为:X=AF+E 式中的A，称为因子载荷矩阵