Stanford机器学习---第十讲. 数据降维.pdf

本文由吉林白癜风医院/ 收集，转载请注明出处 Stanford 机器学习第十讲. 数据降维 本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、 Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学 习系统设计、SVM （Support Vector Machines 支持向量机）、聚类、降维、异 常检测、大规模机器学习等章节。内容大多来自Standford 公开课machine learning 中Andrew 老师的讲解和其他书籍的借鉴。 PS: 盼望已久的十一长假就要到了~祝大家国庆快乐，玩的开心！(*^__^*) 第十讲. 降维——Dimensionality Reduction =============================== （一）、为什么要降维? （二）、主成分分析Principal Component Analysis (PCA) （三）、PCA 算法流程 （四）、从压缩数据中恢复原数据 （五）、怎样决定降维个数/主成分个数 （六）、应用PCA 进行降维的建议 本章主要讲述应用PCA 算法进行数据降维的原理 ===================================== （一）、为什么要降维？  About data： 我们需要一组关于XXX 的数据，定义就铺天盖地的来了，百万级个特征拿过 来，我们怎么进行机器学习啊？！李航老师在他的博客 《机器学习新动向：从人 机交互中》中提到，学习精度越高，学习确信度越高，学习模型越复杂，所需要 的样本也就越多。样本复杂度满足以下不等式 由此可见，feature 太多会造成模型复杂，训练速度过慢，因此我们引入降 维。 本文由吉林白癜风医院/ 收集，转载请注明出处 本文由吉林白癜风医院/ 收集，转载请注明出处  About Visualization： 多维数据很难进行可视化分析，因此我们需要降维分析。 ===================================== （二）、About Principal Component Analysis (PCA)  PCA 目的：降维——find a low dimension surface on which to project data ~ 如图所示，蓝色的点project 到红色surface 上得到绿点，寻找surface 使得两点之间的orthogonal distance 总和最小，就是PCA 的任务。  PCA 与 Linear Regression 的区别： 1. PCA 衡量的是orthogonal distance, 而linear regression 是所有x 点对应的真实值y=g(x)与估计值f(x)之间的vertical distance 距离 2. more general 的解释：PCA 中为的是寻找一个surface，将各 feature{x1,x2,...,xn}投影到这个surface 后使得variance 最小（跟y 没有关 系，是寻找最能够表现这些feature 的一个平面）；而Linear Regression 是给 出{x1,x2,...,xn}，希望根据x 去预测y，所以进行回归 ===================================== （三）、PCA 算法流程 本文由吉林白癜风医院/ 收集，转载请注明出处 本文由吉林白癜风医院/ 收集，转载请注明出处 假设有m 个samples，每个数据有n 维。 数据预处理