3 第三章 参数估计与非参数估计.pdf

第三章 参数估计与非参数估计 分类器 功能结构 • 参数估计与监督学习 • 参数估计理论 • 非参数估计理论 基于样本的Bayes分类器 ：通过估计类条件 ：通过估计类条件 概率密度函数，设计相应的判别函数 概率密度函数，设计相应的判别函数 基于样本直接确定判别函数方法 1 2 基于样本的Bayes分类器设计 基于样本的Bayes分类器设计 基于样本的Bayes分类器 p (x | ω)P (ω) • Bayes决策需要已知两种知识： P (ω | x) i i i ω ω ∑p (x | j )P ( j ) 样本分布的 – 各类的先验概率P(ω ) j i 训练 统计特征： 决策规则： – 各类的条件概率密度函数p(x |ω ) i 样本集 概率 判别函数 知识的来源：对问题的一般性认识或一些训练数据 密度函数 决策面方程 基于样本两步Bayes分类器设计 利用样本集估计P(ω )和p(x |ω ) i i • 最一般情况下适用的“最优”分类器：错误率最 基于上述估计值设计判别函数及分类器 小 ，对分类器设计在理论上有指导意义。 面临的问题： 如何利用样本集进行估计 • 获取统计分布及其参数很困难，实际问题中并不一 估计量的评价 定具备获取准确统计分布的条件。 利用样本集估计错误率 3 4 直接确定判别函数 §3-1 参数估计与监督学习 • 基于样本直接确定判别函数方法 ： 一．参数估计与非参数估计 – 针对各种不同的情况，使用不同的准则函数，设计 出满足这些不同准则要求的分类器。 参数估计 ： – 这些准则的“最优”并不一定与错误率最小相一致：