模式识别05-线性分类器.pdf

模式识别导论 ——线性分类器 李金屏 济南大学 信息科学与工程学院 模式识别与智能系统研究所 山东省网络环境智能计算技术重点实验室 2011年11月 目录  复习  几何分类器与概率模式识别的关系  线性分类器  支持向量机  总结和作业 (R) 济南大学信息科学与工程学院 模式 2011-12-22 识别与智能系统研究所 2 目录  复习  几何分类器与概率模式识别的关系  线性分类器  支持向量机  总结和作业 (R) 济南大学信息科学与工程学院 模式 2011-12-22 识别与智能系统研究所 3 n p ( x ) p ( x |  ) p ( ) 复习  i i i 1  贝叶斯决策的基本思想：将先验概率转化成后验 概率。  最小误判概率准则：P(|x) = p (x |)P()/p (x) i i i  最小损失判别准则：对于不同的误判赋予不同的 惩罚项(penalty term)显得十分必要： 就是将属 ki 于 的样本x判给导致的损失或风险。 k i  判决面 （Decision Surfaces ）：将特征空间划分成 M个区域，使得风险或者错误概率（或者称为代 价）最小。 很重要，直接导致 几何分类器！ (R) 济南大学信息科学与工程学院 模式 2011-12-22 识别与智能系统研究所 4 复习  参数估计和非参数估计：贝叶斯决策规则解决了 最优分类器的设计问题，但首先需要解决概率密 度估计问题。  参数估计方法：概型已知，参数未知。即先假定研究 的问题具有某种数学模型，再用已知类别的学习样本 估计里面的参数。常用方法：矩估计法、期望值最大 方法(EM)等。  非参数估计方法：概型未知。即不假定数学模型，直 接用已知类别的学习样本的先验知识直接估计数学模 型。常用方法：Parzen窗方法，K －近邻法、正交函数 逼近法。 (R) 济南大