主成分分析与因子分析.PPT

主成分分析和因子分析 汇报什么？ 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。 主成分分析 每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量的数据；各个学校的研究、教学等各种变量的数据等等。 这些数据的共同特点是变量很多，在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 本章就介绍两种把变量维数降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。 主成分分析与因子分析的概念 需要与可能：在各个领域的科学研究中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为科学研究提供丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在大多数情况下，许多变量之间可能存在相关性而增加了问题分析的复杂性，同时对分析带来不便。如果分别分析每个指标，分析又可能是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。因此需要找到一个合理的方法，减少分析指标的同时，尽量减少原指标包含信息的损失，对所收集的资料作全面的分析。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。主成分分析与因子分析就是这样一种降维的方法。 主成分分析与因子分析是将多个实测变量转换为少数几个不相关的综合指标的多元统计分析方法 直线综合指标往往是不能直接观测到的，但它更能反映事物的本质。因此在医学、心理学、经济学等科学领域以及社会化生产中得到广泛的应用。 主成分分析与因子分析的概念（续） 由于实测的变量间存在一定的相关关系，因此有可能用较少数的综合指标分别综合存在于各变量中的各类信息，而综合指标之间彼此不相关，即各指标代表的信息不重叠。综合指标称为因子或主成分（提取几个因子），一般有两种方法： 特征值1 累计贡献率0.8 有关概念: 因子载荷 即表达式中各因子的系数值，用于反映因子和各个变量间的密切程度，其实质是两者间的相关系数 公因子方差比（Communalities） 指的是提取公因子后，各变量中信息分别被提取出的比例，或者说原变量的方差中由公因子决定的比例 特征根（Eigenvalue） 可以被看成是主成分影响力度的指标，代表引入该因子／主成分后可以解释平均多少原始变量的信息。 KMO统计量 用于探查变量间的偏相关性,它比较的是各变量间的简单相关和偏相关的大小,取值范围在0~1之间. 0.9最佳，0.7尚可，0.6很差，0.5以下放弃 成绩数据（student.sav） 100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 从本例可能提出的问题 目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题。 主成分分析 例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。 先假定只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；如果这些数据形成一个椭圆形状的点阵（这在变量的二维正态的假定下是可能的） 那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。 主成分分析 当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有道理。 主成分分析 对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看见罢了。 首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基本完成了。 注意，和二维情况类似，高维椭球的主