第四章 线性分类器.pdf

模式识别 第四章 线性分类器 中国矿业大学信电学院 蔡利梅 第四章 线性分类器 4.1概述 4.2Fisher线性判别分析 4.3感知器 4.4最小平方误差判别 4.5多类问题 4.1概述 （1）基于贝叶斯理论的分类方法的局限性 前提：对先验概率和类概率密度函数有充分的先验知识； 或有足够多的样本，可以较好地进行概率密度估计。 若前提条件不满足，采用最优方法设计出的分类器往往不 具有最优的性质 实际问题中，得到的只是样本集，样本的分布形式很难确 定，进行估计需要大量样本。 当样本数有限时，概率密度函数估计问题往往是一个比分 类更难的一般性问题 基于以上原因，实际问题中，不去估计类条件概率，直接 利用样本集设计分类器。 （2）利用样本集直接设计分类器的思路 首先给定某个判别函数，利用样本集去确定判别 函数中的未知参数。 判别函数分类 线性判别函数 非线性判别函数 （3）线性判别函数 ω w ω 2 0 1 实例分析 一维数据 两类的分界点为w ， 0 判别函数表示为：g(x)=x-w0 二维数据 两类的判别函数表示为： x 2 g x w x w x +w( )+ 1 1 2 2 0 T ω w+x w 1 0 ω w、x均为二维列向量 2 x 1 ( ) T 一般表达式g x w+x w0 w、x均为d维列向量，w称为权向量（系数） 决策规则 若 ( ) 0，则决策 ； g x x ∈ω1 若 ( )0，决策 ∈ ； g x x ω2 若 ( ) 0，任意分类或拒绝决策。 g x 决策面方程g x ( ) 0 x 几何解释 2