多元统计分析教学课件(主成分分析).ppt

第七章 主成分分析 ;第一节 什么是主成分分析及基本思想 ; 在经济问题研究中，为了全面、系统地分析问题，我们必须考虑众多对某经济过程有影响的因素，这些因素也叫指标，在多元统计分析中也称为变量。;每个指标都在不同程度上反映了所研究问题的某些信息。但是 1、指标之间彼此有一定的相关性，使得相应的统计数据在一定程度上反映的信息有重叠。 主成分分析可将相关的指标化成一些不相关的指标，避免了信息重叠带来的虚假性。 2、在用统计方法研究多变量问题时，变量太多会增大计算量和增加分析问题的复杂性，人们自然希望在进行定量分析的过程中所涉及的变量要少，而得到的信息量又要多。 主成分分析是解决这些问题的理想工具。;在综合评价工业企业的经济效益中，考核指标有： 1每百元固定资产原值实现产值、 2每百元固定资产原值实现利税、 3每百元资金实现利税、 4每百元工业总产值实现利税、 5每百元销售收入实现利税、 6每吨标准煤实现工业产值、 7每千瓦电力实现工业产值、 8全员劳动生产率、 9每百元流动资金实现的产值 指标间信息有重叠，指标数量又多。 经过主成分分析计算，最后确定选择了2个主成分作为综合评价工业企业经济效益的依据，变量数由9个减少到2个，这两个主成分代表的信息达91.6%，使所研究的问题简化。;所谓主成分就是原指标的线性组合。 主成分可以有很多个， 反应原指标信息最多的称为第一主成分， 其次是第二主成分， …等等。 所谓反应原指标的信息多就是其方差大，方差越大，它反应的信息就越多，因此选方差最大的作为第一主成分，…。; 一项十分著名的工作是 美国的统计学家斯通(stone)在1947年关于国民经济的研究。 选择17个反映国民收入与支出的变量因素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等，他利用美国1929一1938年各年的数据。;X1 ; ;一般情况下，例如有n个样品，每个样品有两个变量值X1和X2，则n个样品的散点图如带状.;θ ;新变量Fl和F2是原变量X1和X2的线性组合，用矩阵表示为：;由线性代数我们知道: U是正交矩阵 U的列向量都是单位向量且两两正交。 U的列向量都是单位向量 两两正交 说明Fl与F2不相关。相关系数为零。 ; 旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。 经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。; 二维平面上的样品点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。由于n个样品点在Fl轴上的方差最大，因而将二维空间的点的描述用Fl这个综合变量来代替，所损失的信息最小，由此称Fl为第一主成分，F2为第二主成分。 那么在经济问题研究中我们可以只考虑F1方向上的信息，忽略F2方向上的信息，损失信息很少。这样二维空间可以降为一维空间了。只取综合变量F1，简化了系统结构，抓住了主要矛盾。 ;;主成分分析通常的做法是，寻求原指标的线性组合Fi。;用矩阵表示 ;其中aij由下列原则来确定： 1、不相关性，Fi与Fj不相关。即 （a1i,a2i,…, api）与（a1j,a2j,…, apj）正交， 也即ai与aj正交， 2、方差极大条件， Fl是Xl，X2，…,Xp的一切线性组合（系数满足*式） 中方差最大者； F2是与Fl不相关的Xl，X2，…，Xp的一切线性组合 （系数满足*式）中方差最大者；…； Fp是与Fl, F2,…, Fp-1都不相关的Xl，X2，…，Xp的一切线性组合（系数满足*式）中方差最大者。; 如此决定的综合变量Fl, F2,…, Fp分别称为原变量的第一主成分，第二主成分，第P主成分。其中Fl在总方差中占的比重最大，其余F2,…, Fp的方差依次递减。;主成分分析通常的做法是，寻求原指标的线性组合Fi。;第三节 主成分的推导及性质; 定理2、若上述矩阵A的特征根所对应的单位特征向量为 ;1 主成分的推导;这样求出的F是否满足条件？ 前两条已满足，因U是标准正交特征向量， 下面看第三条是否满足 由（1）（2）可知 而 主对角线上的元素为Var(Fi) ;在实际问题中 的协方差阵 通常未知， 需要通过样本协方差阵来估计。设有n个样品，每个样 品测得p个指标，于是得到原始资料矩阵 是样本协方差阵，作为总体协方差阵 的无偏估计,则由 的单