模式识别-第5讲-线性判别函数15.ppt

第1章 绪论 * 第1章 绪论 * 2012.9.18第4周星期二 计算机第7次课结束！ 2012.9.19第4周星期三 专升本第7次课结束！ 2012.9.28第5周星期五 理学院第7次课结束(该周星期一停课一次)！ 第1章 绪论 * 第1章 绪论 * 第1章 绪论 * 梯度是函数上升最快的方向 假设有一个房间，房间内所有点的温度由一个标量场 给出的，即点 的温度是 。假设温度不随时间改变。然后，在房间的每一点，该点的梯度将显示变热最快的方向。梯度的大小将表示在该方向上变热的速度。 第1章 绪论 * 本章结束! 第1章 绪论 * 返回本章首页 这里 是一个 维方阵，且常为非奇异； 方阵 称为 的伪逆（矩阵论里称其为广义逆），且具有以下性质： ①当 为非奇异方阵时， 的伪逆和它的逆相等 ② ③一般来说 返回本章首页 从上述推倒过程可以看出，MSE解依赖于向量 ， 的不同选择可以给予解以不同的性质（参考教材P102）。 返回本章首页 从前面的推导过程我们可以看到，用MSE方法按式 的计算工作量很大，首先要求证明 是非奇异的，然后计算 ，为 维矩阵的逆。 这样，我们引入梯度下降算法以避免这种问题。 误差平方和准则函数的梯度 返回本章首页 2.3.2 MSE准则函数的梯度下降算法 梯度下降算法为： （1）首先任意指定初始权向量 ； （2）如第 k 步不能满足要求 则按下式求第 (k+1) 步的权向量 对于任意的正常数，算法得到的权向量序列收敛于使 返回本章首页 返回本章首页 MSE最小平方误差方法与Fisher线性判别的关系 在此，我们将通过适当选择 b 来说明 MSE 判别函数是和 Fisher 线性判别有直接联系的。 我们假设一组 d 维样本集 ，其中 个属于 类的样本记为子集 ，其中 个属于 类的样本记为子集 。进一步，得到增广模式向量 ，并进行规范化。不失一般性，可以假设前 个样本属于 类，后 个样本属于 。这样矩阵 就可以写成分块矩阵 返回本章首页 是 个 1 的列向量， 是一个矩阵，它的行是属于 。 接下来，我们将证明MSE解和Fisher线性判别关系。 返回本章首页 返回本章首页 返回本章首页 返回本章首页 对于任意的 ，向量 都是在 的方向上，则就有 代入 2.5 多类情况下的线性判别函数 前面我们重点讨论了二类模式情况下的线性判别方法，不难把它们推广到多类别的情况。可以把多类问题化为二类问题来解决，也可以直接按多类问题来解。 1、按二类问题解 ①是把 c 类问题转化为 个二类模式的分类问题。其中第 i 个问题就是用线性判别函数把属于 类的模式同不属于 的模式分开。 ②是用 次二类模式线性判别，每次只从样本集中判别指定的二类的决策面。 两种方法都会产生模糊区域，结合下图进行分析。 返回本章首页 返回本章首页 返回本章首页 2 按多类问题解（结合第一节内容） 如果不用区别二类问题的线性判别函数，可采用一般的c 类线性判别函数： 如果对于所有的 ，有 则把模式 归到 类去 而如果这个模式在第 i 类和第 j 类的分界面上，则有 返回本章首页 返回本章首页 返回本章首页 线性机器的决策区域的特点 （1）所有决策区域是凸的； （2）每个决策区域都是单连通的； （3）不存在拒绝分类的死区； 返回本章首页 2.6 分段线性判别函数 以上我们介绍了线性判别函数，它的一个显著的优点是：算法简单和具有“学习”的能力，就是说，给定分好类的样本集后，能够根据样本“学习”，自动找到线性分界面。它的另一个优点是：如果给定的 分好类的n维模式样本集是线性可分的，则基于感知准则函数的算法一定收敛。不足是：必须线性可分，得到的分界面是一个超平面，应用有限，对于比较复杂的问题，如果样本不是线性可分时，就会导致较