模式识别第五讲-二次、线性分类.ppt

在一定的分布和条件下（如正态、等协方差矩阵），贝叶斯决策可以导致二次或线性分类器。;即使我们得到了密度函数，有时用似然比检验的方法也很难计算分界面。 ;这一节分析在什么条件下贝叶斯分类器变成二次和线性分类器。以后再讨论当这些条件不满足时，如何设计“性能好”的参数分类器。 ;一. 两类问题的二次和线性分类器;当各类的类条件密度是高斯分布时， ;这时似然比为 ;上式是二次分类器。计算x到各类均值mi的 马氏距离 ，然后和阈值 相比较，决定x属于第一或第二类。 ;展开上式，有 ;决策边界h(x)=T是二次曲面（超曲面）：超椭球面、超双曲面、超抛物面、超平面等。;例1：两维时的二次分类器的决策边界 ;解： ;假定T=0，h(x)=T=0化为： ;;;当先验概率相等时，最小错误率决策规则选择密度函数大的。 由于第二类在x2方向上的方差大于类1的，这样密度函数p(x|ω2)在x2方向上将有较广的延伸。使得在左边R2区域内有p(x|ω2) p(x|ω1)，尽管这些点比较靠近类1的均值点。 ;这时的决策边界就退化为线性决策边界（超平面），相应的分类器为线性分类器。 ;二. 判别函数和多类分类器 ;由贝叶斯公式， 和 等价，即使用 时，决策规则是一样的。 ;若 是单调增函数，它和 也是等价的。 这些性质可以使我们从一组判别函数推导出另外的判别函数，以便计算上更加简单，或者意义更清楚，便于理解。 ;当每类都是正态分布，其均值和协方差分别为mk和Kk时，这时的最小错误率决策规则的判别函数为： ;（※）;当 时，（※）式化为： ;例2：最小距离分类器。假定各类的先验概率相等，而且各类 。即x的各个分量不相关，且各类等方差。 ;这时的决策规则的含义是：x离哪类的均值最近，就把它分到哪类。 ;一般来说，在分类过程中总会有错误率。 错误率反映了模式分类问题本身的固有复杂程度。也是衡量分类器性能的重要指标，反映了分类器是否和要解决的问题相匹配。;从上式可以看出，在x是多维时，P(e)的计算要进行多重积分。当类条件密度函数的解析形式比较复杂???，P(e)的计算相当困难。;由于错误率的重要性和复杂性，人们对错误率的计算和估算方法进行了大量的研究。主要有以下几类： ;如果利用样本来估计错误率，需要分析： ;一. 已设计好分类器时的错误率的估计 ;用 表示真实的错误率。随机取N个样本，假定错分了K个，则 K 服从二项分布： ;由于K是随机变量， 也是随机变量。 ;归纳以上的分析，有： ;二. 未设计好分类器时错误率的估计： 如何划分设计样本集和检验集？ ;全部用作设计，又用作检验，错误率比实际的小；;样本划分法：把 N 个样本分为两个集