斯坦福ML公开课笔记5.pdf

/yanxiangzhang /stdcoutzyx 斯坦福ML 公开课笔记5 这篇笔记针对的是公开课视频的第五个，主要内容包括生成学习算法 （generate learning algorithm ）、高斯判别分析（Gaussian Discriminant Analysis ， GDA ）、朴素贝叶斯（Navie Bayes ）、拉普拉斯平滑（Laplace Smoothing ）。 生成学习算法 之前的视频中讲到的方法都是直接对问题进行求解，比如二类分类问题，不 管是感知器算法还是逻辑斯蒂回归算法，都是在解空间中寻找一条直线从而把两 种类别的样例分开，对于新的样例只要判断在直线的哪一侧即可；这种直接对问 题求解的方法可以成为判别学习方法（discriminative learning algorithm ）。而生成 学习算法则是对两个类别分别进行建模，用新的样例去匹配两个模型，匹配度较 高的作为新样例的类别，比如良性肿瘤与恶性肿瘤的分类，首先对两个类别分别 建模，比如分别计算两类肿瘤是否扩散的概率，计算肿瘤大小大于某个值的概率 等等；再比如狗与大象的分类，分别对狗与大象建模，比如计算体重大于某个值 的概率，鼻子长度大于某个值的概率等等。 形式化的说，判别学习方法是直接对p(y|x)进行建模或者直接学习输入空间 到输出空间的映射关系，其中，x 是某类样例的特征，y 是某类样例的分类标记。 而生成学习方法是对p(x|y) （条件概率）和p(y) （先验概率）进行建模，然后按 照贝叶斯法则求出后验概率p(y|x) ： (|)() ( | ) p y x = (1) () 使得后验概率最大的类别y 即是新样例的预测值： (|)() ( | ) argmax = argmax =argmax(|)() (2) () 高斯判别分析 高斯判别分析（GDA ）就是一种生成学习算法，不过比较奇怪的是它的名 字里居然有判别两个字，可能会让人误以为它是判别学习方法，不过它却是地地 道道的生成学习算法。 在 GDA 中，假设p(x|y)属于多变量正态分布。多变量正态分布是正态分布 在多维变量下的扩展，它的参数是一个均值向量 （mean vector ）μ和协方差矩阵 ∑ ∗ ∑ ∗ （covariance matrix ） ∈ ,其中n 是多维变量的向量长度， ∈ 是对称 /yanxiangzhang /stdcoutzyx 正定矩阵。多变量正态分布的概率密度函数为： 1 1 ( ) ( ) −1 p x;μ,Σ = /2 1/2 exp⁡(− − Σ ( −)) (3) (2) |Σ| 2 其中，|Σ|是行列式的值。 对于服从多变量正态分布的随机变量x ，均值由下面的公式得到： , - ( )