(斯坦福大学公开课机器学习课程note2翻译.docxVIP

Part IVGenerative Learning algorithms生成学习算法 到现在为止，我们已经学习关于模型、y关于x的条件分布学习算法。例如：回归分析模型的是应用，g是激活函数。在本节中，我们将会学习到一些不一样类型的学习算法。 思考一个分类问题我们想要把大象（y=1）和狗（y=0）识别出来基于一些动物的特征.给定一个训练集，一个类似于逻辑回归的算法或者感知计算法试图找到一条直线-----一个判定边界----去区分大象和狗。然后，去分类一个动物既不是大象也不是狗，这个算法核实这个动物是在这个判定边界的哪一边，并且给出他相应的预测是大象或者是狗。 这里有一个不一样的方法。首先，对于大象，我们能建立一个什么是大象的模型。然后对于狗，我们能建立一个单独的模型对于什么是狗。最后，去识别一个新的动物，我们会拿这个动物去和大象的模型对比，然后再去和狗的模型去对比，看这个新的动物是像大象多一些还是像狗多一些在我们的训练集中。 算法试图直接去得到一个函数P(y|x)（像逻辑回归那样）或者算法试图去直接从输入x到标签｛0，1｝建立一个映射（像感知机算法一样）都叫做区别学习算法。这里，我们将要学习一个算法不是去建立一个函数P(x|y)。这些算法被叫做生成学习算法。例如，如果y的值表示一个样本是狗或者大象，那么p(x|y=0)代表狗的特征的分布p(x|y=1)代表着大象的特征的分布。 建立模型p(y)和p(x|y)之后，我们的算法能够用贝叶斯规则去表示y在给定x的条件下的概率这里分母是由p(x)=p(x|y=1)p(y=1)+p(x|y=0)p(y=0)得到。（全概率公式）因此也同样能够表示p(x|y)和p(y)。事实上，如果我们计算p(y|x)只是为了去做预测，我们根本不需要去算这个分母的值因为：1 Gaussian discriminant analysis高斯判别分析我们将要学习的第一个生成学习算法是高斯判别分析。在这个模型中我们假设p(x|y)是离散的用一个正态分布函数去赋值。在讲这个算法前，简单说一下正态分布。The multivariate normal distribution 多元正态分布在n维空间中也叫做多维高斯分布，由参数μ（μ∈）和协方差矩阵∑（∑∈），∑=0并且是正定的和对称的。也写作，他的概率密度分布是在上面的等式中，|∑|是∑的模。 对于一个随机的变量X分布为，均值是μ随机变量Z的协方差的定义是Cov(Z) =E[(Z — E[Z])(Z — E[Z])T ].把这个公式推广到一般化。这个协方差也被定义为Cov(Z) = （你可以自己证明这两个等式是相等的。）如果X~N(μ, ∑),Cov(X)= ∑下面有一些高斯分布的图像：最左边的图像表示的是均值是0（2*1的零向量）协方差矩阵∑=1（2*2的单位矩阵）这个高斯分布也叫做标准正态分布。中间的图像表示的均值是0和∑=0.6I；右边的表示的是∑=2I。我们从图中可以看出来∑越大，高斯分布越“细长”当他变小时候分布变的更加“扁平”来看更多的例子：上面的图像表示的是高斯分布的均值都是0，协方差矩阵分别为：最左边的图像表示的是常见的标准正态分布，我们可以看到当我们增加∑的副对角线的元素的值时，这个分布的密度变的更加“扁平”朝着45度方向（x1=x2）。我们能够更清楚的看出来这个规律，当我们看这三副图的俯视图的时候。下面这个是最后一个训练样本的一组俯视图通过改变∑从最左边和中间的图像，我们可以看到通过减少协方差矩阵副对角线元素的值，这个图像密度再次变“扁平”，但是在相反的方向。最后我们改变使的形状类似一个椭圆（最右边的图像表示出来了。） 像我们在最后一个例子中设置的，使的∑=I，通过改变μ的值，我们也能改变这个密度。1.2 The Gaussian Discriminant Analysis model高斯判别分析模型当我们拿到一个输入变量是连续分布的随机值的分类问题的时候，这时我们能够使用高斯判别分析模型去处理，像对于p(x|y)使用多元正态分布。这个模型是：写出这个分布规律：这里，我们模型使用的参数是φ，∑，μ0，μ1。（注意这里有两个不同含义的变量值μ0和μ1，这个模型通常使用一个协方差矩阵∑）这个数据极大似然对数是：通过最大化关于参数的函数ι，我们找到了使的极大似然函数最大化的参数值：在下面图中可以很明显的看出来这个算法是怎么工作的：在图中显示的是训练集，两个高斯分布的等高线已经表明把这个训练集分为两部分。注意这两个高斯的等高线是一样的形状和方向，因此他们的使用的是一个相同的协方差矩阵∑，但是他们有不一样的均值μ0和μ1。在这个图中另外一个就是这条直线给出了判定边界在p(y = 1|x) = 0.5处。在这个边界的一边我们可以预测y=1对大部分的输入都是成立