11PCA降维.pdf

机器学习 第十一讲 张兆翔 课程回顾 蒙特卡洛采样法 注：不能够准确知道 ，而只能知道比例  首先产生一个采样点 ；  根据建议概率 产生新的采样点；  依次类推，产生马尔可夫链 ；  要求 尽可能简单，便于产生采样点；  有一个准则去决定是接受还是拒绝产生的采样点 Metropolis采样方法(1953年)  建议概率：  接受概率：  在(0,1)的均匀分布上获得采样点 ；  如果 接受，否则拒绝； Metropolis‐Hastings算法  建议概率： 根据 产生采样  接受概率： 是否满足不变性 如果 Gibbs采样(1984)  一种特殊的Metropolis‐Hastings采样算法  针对多元分布进行处理 每次只改变一个维度上的值，保持其他维度不变 在第 步，假设已产生 根据 产生 根据 产生 根据 产生 Gibbs采样与Metropolis‐Hastings采样的关系  建议概率： 根据 产生采样  接受概率： 数据降维 数据的维数问题  “3”本身的形状可以用部分维数表达；  “3”形状的旋转、平移增加了部分维数；  “3”形状的放大、缩小增加了部分维数；  不同人手写“3”的特色增加了部分维数；  噪声、光照、干扰、…. 1、线性判别分析LDA 尽可能使类内距离较小，类间距离较大 类间离散度： 类内离散度： 1、线性判别分析LDA 求导： 1、线性判别分析LDA 2、主成份分析PCA  Principal Component Analysis  使得降维后的样本方 差尽可能大；  使得降维后的数据均 方误差尽可能小； 2、主成份分析PCA‐最大方差思想  基本思想：使降维后的数据方差尽可能大 将D维数据集 ， 降维成M维  第一步、降到1维的话 原均值： 原方差： 最大 变换后方差： 2、主成份分析PCA‐最大方差思想 Maximize： s. t. 结论：  降维后方差所对应的是协方差矩阵的特征值；  为了使方差最大，选择最大的特征值；  最大特征值所对应的特征向量为最佳投影方向； 2、主成份分析PCA‐最大方差思想  很多情况下，M1;  首先获得方差最大的1维，然后在该维的补空间上考虑 问题；  在补空间中获得方差最大的1维；进一步获得补空间；  依次循环下去。 有D个特征值，降成M维即是挑选前M个较大的特征值；