主成分分析及一函数.doc

主成分分析 主成分概念首先由 Karl Parson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。 在多数实际问题中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。 主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。 主成分分析（Principal Component Analysis，PCA）， 将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。又称主分量分析。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。 主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。 程序： function [lambda,T,fai]=MSA2(A) %求标准化后的协差矩阵,再求特征根和特征向量 %标准化处理 [p,n]=size(A); for j=1:n mju(j)=mean(A(:,j)); sigma(j)=sqrt(cov(A(:,j))); end for i=1:p for j=1:n Y(i,j)=(A(i,j)-mju(j))/sigma(j); end end sigmaY=cov(Y); %求X标准化的协差矩阵的特征根和特征向量 [T,lambda]=eig(sigmaY); disp(特征根(由小到大):); disp(lambda); disp(特征向量:); disp(T); %方差贡献率; Xsum=sum(sum(lambda,2),1); for i=1:n fai(i)=lambda(i,i)/Xsum; end disp(方差贡献率:); disp(fai); u=T(:,n); B=[]; h=length(A(:,1)); for k=1:n m1=mean(A(:,k)); t=(A(:,k)-m1).^2; m2=sqrt(sum(t))/(h-1); B=[B,(A(:,k)-m1)./m2]; End V = var(X) 如果X是一个向量，返回向量X的方差。 如果X是一个矩阵，var(X)返回一个包含矩阵X每一列方差的行向量。 如果X是一个N维数组，var沿着第一个X的非单一维进行操作。 只要X是独立同分布的，结果V是X分布的总体方差的无偏估计。 当N1时，var由N-1来标准化，其中N是样本大小。 只要样本是独立同分布的，它就是X分布的总体方差的无偏估计。对N=1来说，v由N来标准化。 V = var(X,1) 由N来标准化，并且生成了样本关于其均值的二阶矩，var(X,0)等价于var(X)。 V = var(X,w) 计算向量X的方差利用权重向量w，向量w中元素的数目必须和X中的列的数目相同，向量w中的元素必须全是正数。var归一化w是的总和为1。 V = var(X,w,dim) 沿着指定维数dim求X的方差，默认用N-1标准化这时w为0，w为1时用N标准化。 方差是其标准差(STD)的平方. 应用举例 编辑本段回目录x=[4,6,4,3,5,7] var(x) ans = 2.1667 R = corrcoef(X) 返回相关系数矩阵R，对行是观测值、列是变量的矩阵X计算相关系数得到相关系数矩阵R。 阵R=corrcoef(X)与协方差矩阵C=cov(X)有以下关系