主成分分析法数学推导方法研究.pdfVIP

第 12卷 第 4期 衡水学院学报 Vo1．12．No．4 2010年 8月 JournalofHengshuiUniversity Aug．2010 主成分分析法数学推导方法的研究 高 陈 燕 (西安欧亚学院，陕西 西安 710065) 摘 要：主成分分析法虽然已被广泛的应用，但其数学原理及其数学推导并不被广泛的了解．为了研究者们更全面和熟练 地应用主成分分析法，本文详细介绍了主成分分析的数学推导． 关键词：主成分分析；方差；Lagrange数子法；特征值 中图分类号：O212 文献标识码：A 文章编号：1673-2065(2010)04-0007-02 主成分分析 (principalcomponentsanalysis，PCA)又称主分量分析、主成分回归分析法 ．主成分分析利用 降低数据集维数来消除指标问的相关性，以及具有指标权重确定的客观性的特点，几年来 日益被各方面研究 人员关注，并逐渐成为一种独具特色的多指标评价技术，普遍应用于 自然科学、管理科学、社会和经济等领 域 ”【．然而，不少研究人员对于主成分分析法只知道如何应用，而其数学原理并不了解．为了更全面和熟悉地 应用主成分分析法，本文详细介绍了主成分分析的数学推导． 在统计学中，主成分分析是一种简化数据集的技术，是一个线性变换．主成分分析的中心思想是降低 由大 量有相关的变量组成的数据集的维数，将此数据集转换成由少数新的综合变量的线性组合，使多个变量综合成 较少的、相互独立的并且集中反映原始变量较多信息的若干个综合主成分．下面详细介绍如何获得这若干个综 合主成分． 假设列向量X是一个由P个随机变量组成的向量，且P个随机变量的方差和变量问的协方差或者相关性结 构是有意义的．但是对要求得向量X的方差和所有各变量问的协方差或相关系数是不太容易的，除非P很小或 者结构很简单．而另一种可选择的方法是寻找一些维数远远低于P的派生变量，这组变量保留着大部分由其方 差和协方差或相关性提供的信息．这组变量就是主成分． 尽管主成分分析没有忽略协方差和相关性，但是更注重的是方差．如何寻找这主成分呢? Step1：寻找一个X中各变量间的一种线性组合 X，使其具有最大方差，即max(var(aI))，且 O(1=1．这里的 l是由P个元素组成的常向量， 1=(… 2， …，l)，其中 “’表示转置，因此有 ， … IX O~11Xl+ a12x2+ … 1 己~ljXj LlJ p =1 Step2：寻找另一个线性关系 X，使其与 X不相关且具有最大方差， ， =1． 以此类推，直至找到线性关系 X，使之与 ， X，．··，_ltX不相关且具有最大方差．至此，k个主成分 就找到了．理论上讲，P个主成分是可以找到的，但是相当的复杂．实际中并没有必要那么做，只要找到m个 主成分即可，m远小于P． 然而这主成分如何确定呢?假设随机变量的向量X的协方差矩阵∑．首先考虑 ，向量 有 var[al]= ∑ ，且满足 1=1．利用Lagrange乘子7、去I，构造lagraI1ge函数 L(a1)= 1∑ 】一 (1l—1) (2) 其中 是 Lagrange乘子．对 求导，得 (∑一 ，)．=0 (3) 其中，，是P×P的单位矩阵．因此， 是∑的特征值， 是对应的特征向量．为了使 X有最大的方差，则 收稿 日期 ：2010-03—25 作者简介：高陈燕 (19