[理学]线性判别函数.ppt

线性判别函数 1.引言 2.Fisher线性判别 3.感知准则函数 4.最小错分样本数准则 1.1 利用样本集直接设计分类器的提出 1.2 线性判别函数的基本概念 1.3 广义线性判别函数 1.4 设计线性分类器的主要步骤 1.1 利用样本集直接设计分类器的提出 从第二章的学习中我们知道利用贝叶斯决策理论设计分类器，我们需要已知三个条件：类别数 ；先验概率 ；类条件概率密度函数 。然后，再利用贝叶斯决策进行判别分类。 实际应用中我们很难得到 第三章中，我们降低了对已知条件的要求，我只需要知道类条件概率密度函数 的形式就可以了，而不需要知道类条件概率密度函数的参数，这样我们就把问题转化为概率密度函数的估计问题。利用估计理论估计出类概率密度函数的参数，然后运用第二章的知识就可以进行分类判别。 估计需要大量的样本，而实际应用中样本数比较有限，这样我们就不能保证估计出来的概率密度函数能够很好的反应真实情况。 利用样本集直接设计分类器，具体说就是，首先给定某个判别函数类，然后利用样本集确定出判别函数中的未知参数。 本章就是主要介绍几种线性判别函数。 1.2 线性判别函数的基本概念 线性判别函数的一般表达式： 式中 是d维特征向量，又称样本向量，称为权向量，分别表示为: 是个常数，称为阈值权。对于两类问题的线性分类器可以采用下述决策规则： 如果 方程 定义了一个决策面，它把归类于 类的点与归类于 类的点分割开来。当 为线性函数时，这个决策面就是超平面。 假设 和 都在决策面 上，则有 这表明， 和超平面 上任一向量正交，即 是 的法向量。 若把 表示成 将其代入线性判别函数的一般表达式，可得： 或写作 若 为原点，则 将其代入上式，就得到从原点到超平面的距离 图4.1对这些结果作了几何解释。 总之，利用线性判别函数进行决策，就是用一个超平面把特征空间分割成两个决策区域。超平面的方向由权向量 确定，它的位置由阈值权 确定。判别函数 正比于 点到超平面的代数距离。当 在 正侧时， ；在负侧时， 。 1.3 广义线性判别函数 线性判别函数虽然简单，但局限性较大。例如对图4.2所示的两类问题，就没有任何一个线性判别函数能解决其划分问题。 如果建立一个二次判别函数 则可以很好解决其分类问题，决策规则为： 二次判别函数可以写成如下一般形式 如果适当选择 的映射，则可把二次判别函数化为 的线性函数 式中 称为广义线性判别函数， 叫做广义权向量。通过这种变换就可以利用线性判别函数的简单性解决复杂的问题。 如果我们把第一节中定义的线性判别函数写成下面的形式 式中 这个式子就称为线性判别函数的齐次简化，它是广义线性判别函数的一个特例。 叫做增广样本向量， 叫做增广权向量。 方程 在 空间确定了一个通过原点的超平面 ，它对 维子空间的划分与原决策面对原 的划分完全相同。 空间中任一点 到 的距离，为： 1.4 设计线性分类器的主要步骤 设计线性分类器，就是利用训练样本集建立线性判别函数或者广义线性判别函数。这两式中未知的只有权向量 和阈值权 或者增广权向量 。这说明，设计线性分类器，实际上就是寻找最好的 和 的过程。 最好的结果往往出现在准则函数的极值点上。这样设计线性分类器问题就转化为寻找准则函数的极值点 和 或 的问题了。 设计线性分类器的主要步骤： （1）有一组具有类别标志的样本集 。有时也将样本集 转化为增广样本集来处理。 （2）根据实际情况确定一个准则函数 ，它必须满足：① 是样本集 和 、 、或者 的函数；② 的值反映分类器的性能，它的极值解则对应于“最好”的决策。