[工学]哈工大模式识别课程8主成分分析.ppt

主成分变换将三维空间的样本显示在二维空间 根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。 通过对原始数据的平移、尺度伸缩(减均值除方差)和坐标旋转(特征分解)，得到新的坐标系(特征向量)后，用原始数据在新坐标系下的投影(点积)来替代原始变量。 假定有n个样本，每个样本共有p个变量，构成一个n×p阶的数据矩阵 当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。 （一）计算相关系数矩阵 rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为 关于特征值 原始数据前的加权系数决定了新的综合变量主成分（得分）的大小和性质，通常称为主成分轴或者载荷向量（载荷轴、载荷系数）。 主成分分析的关键就是确定这些系数，这些系数构成了新的坐标系，将原始变量在新的坐标系下投影就可求得新坐标系下的变量值（主成分得分）。 PC1=a1xi1+a2xi2+a3xi3 PC2= b1xi1+b2xi2+b3xi3 三. 主成分的特点 ☆ 主成分是原变量的线性组合； ☆ 各个主成分之间互不相关； ☆ 主成分按照方差从大到小依次排列，第一主 成分对应最大的方差（特征值）； ☆ 每个主成分的均值为0、其方差为协方差阵 对应的特征值； ☆ 不同的主成分轴（载荷轴）之间相互正交。 主成分的特点 ☆ 如果原来有p个变量，则最多可以选取p个主成分，这p个主成分的变化可以完全反映原来全部p个变量的变化； ☆ 如果选取的主成分少于p个，则这些主成分的变化应尽可能多地反映原来全部p个变量的变化。 主成分分析的优点 ★ 它能找到表现原始数据阵最重要的变量的组合 ★?通过表示最大的方差，能有效地直观反映样本之间的关系 ★?能从最大的几个主成分的得分来近似反映原始的数据阵的信息 例： 有3个变量X1, X2与X3(p=3)，其16次（n=16）观测值见下表： 相关矩阵为： 相关阵R的特征值分别为2.077,0.919,0.004， 前两个主成分的累计贡献率为99.866%。 这说明第三个主成分所起作用非常小，可以只要两个主成分 。 Kari Karhunen?(1915–1992) was a?probabilist?and a?mathematical statistician, of?Finnish?origin. His name is known to probabilists and statisticians because of the?Karhunen–Loève theorem?and?Karhunen–Loève transform. Kari Karhunen got his doctoral thesis in 1947 from University of Helsinki, Finland. The topic of his thesis was (in German)?Ueber lineare methoden in der Wahrscheinlichheitsrechnung, in English?On linear methods in probability and statistics. The advisor of his thesis was the mathematician?Rolf Nevanlinna. Kari Karhunen worked as a lecturer at the?University of Helsinki?before leaving the academic world to be employed by the insurance corporation?Suomi, becoming CEO of the company in 1963. Kari Karhunen served in 1955 in the mathematics machine committee which developed the first Finnish computer?ESKO. Michel Loève?(January 22, 1907 – February 17, 1979) was a