第8讲 最大似然估计和主成分分析讲解材料.ppt

8.3.8 主成分的特点 ☆ 主成分是原变量的线性组合； ☆ 各个主成分之间互不相关； ☆ 主成分按照方差从大到小依次排列，第一主 成分对应最大的方差（特征值）； ☆ 每个主成分的均值为0、其方差为协方差阵 对应的特征值； ☆ 不同的主成分轴（载荷轴）之间相互正交。 ☆ 如果原来有p个变量，则最多可以选取p个主成分，这p个主成分的变化可以完全反映原来全部p个变量的变化； ☆ 如果选取的主成分少于p个，则这些主成分的变化应尽可能多地反映原来全部p个变量的变化。 8.3.8 主成分的特点 8.3.9 PCA的优点 ★ 它能找到表现原始数据阵最重要的变量的组合。 ★?通过表示最大的方差，能有效地直观反映样本之间的关系。 ★?能从最大的几个主成分的得分来近似反映原始的数据阵的信息。 例1：有3个变量X1, X2与X3(m=3)，其16次（n=16）观测值见下表： 相关矩阵为： 相关阵R的特征值分别为2.077,0.919,0.004， 这说明第三个主成分所起作用非常小，可以只要两个主成分 。 例2：8个样品中苯和二甲苯的含量见下表： # B T Bmc Tmc 1 48 26 13 12 2 44 20 9 6 3 40 24 5 10 4 38 18 3 4 5 32 9 -3 -5 6 28 6 -7 -8 7 26 5 -9 -9 8 24 4 -11 -10 mean 35 14 0 0 B: 苯， T: 二甲苯 ； Bmc和Tmc为减去平均值后的值 原始数据矩阵中含有8（n＝8）个样品、 两个变量， 其协方差矩阵为： 根据PC1求得的苯与二甲苯含量及残差 主成分得分的平方和、特征值与方差 (17.67)2+(10.58)2+(10.64)2+(4.96)2+(-5.67)2+ (-10.61)2+(-12.73)2+(-14.84)2=1089 (8-1) ×155.59=1089 主成分的平方和＝(n-1) ×对应特征值 如果主成分的均值为零，则 主成分的平方和＝(n-1 ) ×方差 特征值反映的是相应主成分的方差大小 对于维数较大的数据矩阵，采用Jacobi法进行PCA运算时间很长。可采用奇异值分解法（Single Value Decomposition－SVD）。 该法运算速度快, 非常适合大型数据矩阵的处理。 谢谢！ 由于各种量测到数据通常是以矩阵的形式记录、表达和存储的，实际中的很多数据信息往往是重叠与冗余的。从线性代数的观点来看，就是这些数据矩阵中存在相关的行或列。因此需要对其进行处理和提炼，抽取出有意义、独立的变量。  第8讲 最大似然估计和主成分分析 文志强 文志强 计算机与通信学院 主要内容 最大似然估计 维数问题 主成分分析 贝叶斯方法的困难： 先验概率P(wi)和类条件概率密度p(x|wi)难以获取。 解决办法：