数学模型讲座_主成分分析创新.ppt

主成分分析Principal Components Analysis 武汉理工大学统计学系 唐湘晋 例如∶做一件上衣要测量的指标有∶身长、袖长、胸围、腰围、肩宽、肩厚等等十几项指标。某服装厂生产一批新型服装，需将十几项指标综合为3项指标(分别反应长度、胖瘦、特体)，用作分类的型号。 又如商业经济∶ 多项指标--物价、生活费用、商业活动指数。 应用 解释：自然、心理、社会现象 、经济 （考试） 综合评价：企业 分类：（企业30指标） ⑦ 计算因子负荷量 用MatLab计算 lamd=diag(latent) Ryx=lamd^(1/2)*U Ryx= 0.2538 -0.9800 -0.9530 -0.9935 -0.9656 0.0996 -0.2727 -0.0833 0.0556 0.1711 -0.1235 -0.0360 -0.0053 0.0217 0.0475 -0.0683 因子负荷表 0.2538 -0.9656 -0.9800 0.0996 -0.9530 -0.2727 -0.9935 -0.0833 4. 注释 ① R-分析和从原始数据阵X出发求主成分结果一般不同。 ② R或Sx的特征根相差越大，主成分分析的效率越高。若所有特征值都很接近，则主成分分析无价值。 ③ 关于总体分布的假设。 ④ 主成分分析的广泛应用。(简化数据结构、寻找综合因子、样本排序和分类、利用综合因子对系统进行评价等等。也是进一步研究的基础。) 规模 效益 * * * 1. 概 述 多元问题的复杂性∶指标(变量)多，指标间存在相关性。 问题∶能否构造出一些综合指标使满足如下条件∶ ① 指标个数尽可能少， ② 指标间相互独立， ③ 尽可能多地包含原指标所含的关于总体的信息。 §1 主成分分析的原理 1. 概 述 主成分分析是将原来众多具有相关性的指标化为少数几个相互独立的综合指标的一种统计方法。 1. 概 述 原始数据矩阵 p 维空间n 个点 研究n 个点的关系，难! 降维，近似在低维空间表达。 2. 直 观 想 法 如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐标y1 就代表了这些点的分布情况。 例如，二元总体， 正态分布。 2. 直 观 想 法 设p 维随机变量 的数学期望为0， x的主成分指的是综合变量 ， 它满足如下条件∶ ① ,其中 是正交矩阵。 即∶ (1) 3.主成分问题的数学提法 ② 在形如(1)的线性变换中，y1 具有最大的方差； y1 与y2 相互独立，且在与y1 相互独立的线性变换中y2 具有最大的方差； y3 与y1 和y2 相互独立，且在与y1 和 y2 相互独立的线性变换中， y3具有最大的方差；如此类推。分别叫做x的y1 ,y2 ,…, yp第一、第二、… 、第p 主成分。 3.主成分问题的数学提法 设 是x 的主成分，它们的方差分别为 ,由于 问题∶ x 的主成分是否存在? 即能够使①②成立的正 交矩阵 是否存在? 问题解决思路∶假设主成分存在，看一下U应满足什 么的条件，能否按照这个条件把U求出来。 相互独立，所以 又因为 3.主成分问题的数学提法 所以∶ 即 或 。若记 则有 即 是对应的单位特征向量。 是 的特征值， 说明∶求法，最大方差性质。 3.主成分问题的数学提法 定理: 设p 维随机变量 的数学 期望为0，且协方差阵为 ,它的特征值为 为相应的单位特征向量，则x 第 i 主成分为 3.主成分问题的数学提法 说明1∶求主成分关键是要从协方差矩阵 求出正交变换矩阵 。 说明2∶若已经求出主成分