ch_..分类器设计简介.pptVIP

2.2.6 分类器设计 ——利用决策规则对观测的特征向量进行分类 涉及分类器设计及实现的几个术语 决策面：按照决策规则可以将d维特征空间分成c个决策域（因为必然要属于c个类别中的某个类别），我们将特征空间中划分决策域的分界面叫做决策面. 决策面在一维特征空间( 为一维,d=1)中是一分界点,在二维特征空间(d=2)中是一曲线,在三维特征空间(X为三维,d=3)中是一曲面,在多维特征空间(d3)中是一超曲面.在数学上以决策面方程的形式表示。 决策面方程:相邻两个决策域在决策面上其判别函数值是相等的. 判别函数：以函数的形式来表达决策规则，这样的函数叫判别函数(Discriminant function)，表示为： 用判别函数的形式表达Bayes决策规则 用判别函数的形式表示一般决策规则： 对于c类别情况，定义一组判别函数 如果有对于一切 均有 ,则 决策面方程:如果1Ri和1Rj是相邻的两个决策域, 则有: 用判别函数的形式表示最小误识率Bayes决策规则: 令 或 即可. 对于两类别最小误识率Bayes决策情况: 令 则决策规则为: 决策面方程为: 对于两类别最小风险Bayes决策:令 则决策规则为: 决策面方程为: 分类器的设计 分类器可看成是有硬件或软件组成的“机器”.其功能是:先计算c 个判别函数 gi(x) ,再从中选出对应于判别函数 最大的类作为决策结果. 关子分类器错误率的估计问题 利用样本估计错误率，直观上可认为N个考试样本(testing samples)中错分的样本数越多，则错误率越大，因此可用错分样本数与总考试样本数的比作为错误率的估计。这可分为两种情况： (1)对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验(样本)集或考试(样本)集(testing set)。 (2)对于未设计好的分类器，需将样本分成两部分，即分为设计集(training set)和检验集(testing set)，分别用以设计分类器和估计错误率。用来设计分类器的样本集称为设计(样本)集(training set)。 * * 信息获取 预处理 特征提取 分类器设计 分类决策 训练过程 识别过程 模式识别系统 一维特征空间 高维特征空间 一、两类别情况： g(x) 阈值单元 1.判别函数： 2.决策规则： 3、决策面方程： 4、分类器设计： 二、多类情况：ω?=(ω1,ω2,…,ωc)，x=(x1,x2,…,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gc(x). 2.决策规则： 3、决策面方程： g1(x) max g(x) g2(x) gn(x) 4、分类器设计： *