第8章 主成分与因子分析1.ppt

第8章 主成分与因子分析 主成分分析与因子分析的目的在于降维，即在众多存在的相关性的变量中，找出少数几个综合性变量，来反映原来变量所反映的主要信息，使问题简化。 主要作用 能降低所研究的数据空间的维数； 可用于分析筛选回归变量，构造回归模型； 可用于综合评价； 可对变量进行分类 主要内容 8.1 主成分分析 8.2 因子分析 8.3 主成分分析和因子分析的区别 8.4 用SPSS进行因子分析 §8.1 主成分分析 8.1.1 主成分分析的数学模型 8.2 因子分析 8.2.1 因子分析的数学模型 1．因子分析的含义 因子分析是主成分分析的推广，它是探讨存在相关关系的 变量之间，是否存在不能直接观测到但对可观测指标的变 化起支配作用的潜在因子(factor)的分析方法。 2．因子分析的基本原理 因子分析就是通过变量的相关系数矩阵内部结构的研究， 找出能控制所有变量的少数几个公共因子去描述多个变量 之间的相关关系，然后根据相关性的大小把变量分组. 8.3 主成分分析和因子分析的区别 主成分分析和因子分析的区别主要体现在： 8.4 用SPSS进行因子分析 选择菜单Analyze→Data Reduction→Factor， 弹出Factor Analyze对话框。 小结 总之，主成分分析与因子分析就是这样的降维 方法，它可以在众多的变量中，找出少数几个综 合性变量，来反映原来变量所反映的主要信息，使 问题简化。 * * 1.主成分(Principal Components)含义： 例：上衣尺寸主要包括领长、袖长、衣长、 号 领围、肩宽、臂围、胸围、腰围、臀围、袖宽等 14 型 个变量，显然它们是相关的，因此可以找出反映上衣特征的两个不相关的综合变量，就是上衣的号和型。 如：（男）180/100A 、 175/96A；（女）165/84A等 F1 * * * * * * * * 2.如何实现： 儿童身高(X1)和体重(X2)两个变量之间的关系可以用散点图表示出来，如图8.1所示。 显然，这两个变量之间存在线性关系。现在以直线P1为横坐标，以该轴的垂直线P2为纵坐标，建立一个新的平面直角坐标系，则所有观测点均在坐标轴P1周围(即沿该方向观测值方差最大)，而在坐标轴P2方向上的波动很小，可以忽略。 这样，二维问题即可以降为一维问题，只取一个综合变量P1(主成分)即可。 X2 F2 * * * θ X1 相当于在平面上做一个坐标变换，即按逆时针方向旋转角度θ，根据旋转变换公式，新旧坐标之间有如下关系 主成分就是P个原始变量的某种线性组合；从几何意义上看，这些线性组合正是由X1，X2，…，XP构成的坐标系经旋转而产生的新坐标系，新坐标系使之通过变差最大的方向(或者说具有最大的样本方差)。 3.建立主成分分析的数学模型： 假设观测 p 项变量(指标)，记为X1，X2，…，Xp，取n件样品，原始数据资料阵为 指标1（X1） 指标2（X2） 指标p（Xp） … … 第1次观测值 第n次观测值 为找出主成分，寻求原变量X1，X2，…，Xp的线性组合Fi，其数学模型 模型可简写为 P=u1X1+u2X2+…+upXp =UTX 若令式中U=(u1,u2,…,up)T, X=(X1,X2,…,XP)T 满足如下的条件： (1) Pi和Pj不相关，即 (2) 主成分的方差依次递减，重要性依次递减，即 称Pi为第i主成分(i=1,2,…,p)。 (3) 总方差不变，即 (4) 每个主成分的系数平方和为1，即 4．主成分的求法（见板书） 5．主成分个数的提取 为简化问题，通常提取q(q＜p)个主成分,原则是这q个主成分能够反映出原来P个变量的绝大部分的方差。 几个概念： 1) 主成分的方差贡献率 第i个主成分的方差在全部方差中所占的比重 ： 称为第i个主成分的方差贡献率，反映了第i个主成分综合原来P个变量信息的能力 。 2) 主成分的累积方