北航计算机机器学习2011复习资料+试卷 (1).pdf

1、利用最大似然估计估计高斯分布的均值与方差，并分析优缺 点。 高斯分布的最大似然估计 1.pdf 第24页。 最大似然估计：把待估的参数看作是确定的量，只是其取值是未知 的。最佳估计就是使得产生已观测到的样本的概率最大的那个值。 推导公式： 概率公式： 最大似然估计是下面方程组的解： 优缺点：最大似然估计法对任何总体都可以用，从它得到的估计量 具有一致性和有效性，即使不具有无偏性，也常常能够修改成无偏估计 量。可以证明，在一定条件下，未知参数的最大似然估计与其真值之差 可以任意小，所以，从某种意义上说没有比最大似然估计更好的估计。 但是，并不是所有的待估计的参数都能求到似然估计量，因为求最大似 然估计量时，往往要解一个似然方程 （或方程组），有时比较难解或根 本就写不出有限形式的解。 2、阐述两种线性分类器分类的基本原理，如LDA 、最小二乘等， 并讨论他们之间的区别与联系。 分类策略 3.pdf 第5页。 （1）Fisher线性判别分析LDA （Linearity Distinction Analysis ）： 基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得 Fisher准则函数达到极值的向量作为最佳投影方向，与投影方向垂直的 超平面就是两类的分类面，使得样本在该方向上投影后，达到最大的类 间离散度和最小的类内离散度。 Fisher线性判别并不对样本的分布进行任何假设，但在很多情况 下，当样本维数比较高且样本数也比较多时，投影到一维空间后样本接 近正态分布，这时可以在一维空间中用样本拟合正态分布，用得到的参 数来确定分类阈值。 推导公式： 类间离散度： 类内离散度： 所以有目标函数： 其中 （2 ）感知机 基本思想：对于线性判别函数，当模式的维数已知时，判别函数的 形式实际上就已经确定下来，线性判别的过程即是确定权向量。感知机 是一种神经网络模型，其特点是随意确定判别函数初始值，在对样本分 类训练过程中，针对分类错误的样本不断进行修正，逐步迭代直至最终 分类符合预定标准，从而确定权向量值。可以证明感知机是一种收敛算 法，只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向 量的解。 推导公式： 优缺点： 优点：简单、便于实现。 缺点：结果不唯一，在线性不可分情况下不收敛。 （3 ）两者的区别与联系： Fisher线性判别是把线性分类器的设计分为两步，一是确定最优方 向，二是在这个方向上确定分类阈值；感知机则是通过不断迭代直接得 到完整的线性判别函数。Fisher线性判别根据阈值选择投影方向达到预 期分类效果，而感知机算法因为不是收敛算法，可能不能得到很好的分 类结果。 3、阐述支持向量机的基本原理。 支持向量机 5.pdf 第6页。 主要思想：针对线性可分情况进行分析，对于线性不可分的情况， 通过使用非线性映射算法，将低维输入空间线性不可分的样本转化为高 维特征空间样本，使其线性可分，从而使得在高维特征空间采用线性算 法对样本的非线性特征进行线性分析成为可能。它基于结构风险最小化 理论，在特征空间中建构最优分割超平面，使得学习器得到全局最优 化，并且在整个样本空间的期望风险以某个概率满足一定上界。 推导过程