斯坦福ML公开课笔记15.pdf

/yanxiangzhang /stdcoutzyx 斯坦福ML 公开课笔记15 我们在上一篇笔记中讲到了 PCA(主成分分析) 。PCA 是一种直接的降维方法，通过求 解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。 本文继续PCA 的话题，包括PCA 的一个应用——LSI(Latent Semantic Indexing, 隐含语 义索引)和PCA 的一个实现——SVD(Singular Value Decomposition,奇异值分解) 。在SVD 和 LSI 结束之后，关于PCA 的内容就告一段落。视频的后半段开始讲无监督学习的一种—— ICA(Independent Component Analysis, 独立成分分析) 。 隐含语义索引(LSI) 视频只是在概念上对LSI 进行了介绍，并举了一个文本相似度计算的例子，其实网上关 于SVD 和LSI 的文章有很多，可以参考我之前转载的一篇文章[1]。 假设我们使用多元伯努利事件模型(NB-MBEM, 见笔记6)来表示文本： 1 1 2 0 3 0 x = ⋮ = ⋮ ⋮ (1) 4321 1 ⋮ ⋮ ⋮ [50000] [ 0] 整个文本被表示成为一个由 0,1 组成的向量。对于这样的向量来说，Ng 的视频中讲了 它的两个特性。第一是这样的向量在PCA 的时候一般不做标准化，注意到上一篇笔记中的 预处理步骤，在计算均值的时候是在样本x 的每个分量上做平均，这样对于不常出现的词来 说，会使其权重增大。比如对于公式1 中的aardvark，这单词不管你见没见过，我反正是没 见过，假如它只在一个样本 () 中出现了，那么它的权重在 () 中为1，在其他地方都为0， 生僻词的权重增大对于计算相似度来说是不合理的，因为生僻词的使用过度依赖于个人喜好 （这是我个人想的，不是视频中，欢迎拍砖）。第二个特性是表达成这样的向量之后，就可 以用向量之间的距离来衡量文本之间的相似度了。比如经典的余弦相似度计算方法： ( ) ( ) ( ) ( ) Sim( , ) = = ( ) ( ) (2) || || ∗ || || 那么啥是隐含语义索引呢？在主成分分析中隐含语义索引的意思就是通过降维的手段， 将意义相同的词映射到低维空间中的同一个维度上去。这样一可以降低计算复杂度，二可以 减少噪声。其中，减少噪声是指两个在高维上完全不相似的文本通过降维以后可能变得相似 了。比如，假如有一篇文章，只包含一个单词learn，另一篇文章只包含study，在高维上计 算相似度为0，通过隐含语义索引，将learn 和study 映射到同一维上，再计算相似度就更精 确了。 个人觉得关于LSI 视频中讲的太粗糙，欲知详情，请查看参考文章或自行谷歌百度之。 奇异值分解(SVD) 奇异值分解是PCA 的一种实现，在上一篇文章中，我们介绍了PCA 的基本实现手段， 1