模式识别之概率密度函数估计.pdf

第3章概率密度函数的估计 3.1 引言 3.2 最大似然估计与正态分布的参数估计 3.3 Bayes估计与正态分布参数的估计 3.4 总体分布的非参数估计 3.5 EM算法 3.6 HMM 3.7 分类器错误率的估计问题 3.1 引言 在贝叶斯决策理论中，基本的已知条件是： 类先验概率P(ω ) i 类条件概率密度p (x |ω ) i 问题：如何得到这些密度函数？ 面临的实际情况是： 对于一个具体问题，我们只有有限数目 的样本 （所属类别有可能还是未知的） 分类器的设计分成两步来完成： 1 利用样本集估计出P(ω ) 、p (x |ω ) （本 i i 章要解决的基本问题） 2 利用Bayes决策理论设计分类器（前一章 已经解决的问题） 本章要解决的三个问题 1. 如何用样本集估计出P(ω ) 、p (x |ω ) 的 i i ˆ ˆ 估计量 P(), p (x | ) i i 2. 评估与分析估计量的性质 3. 利用样本集估计分类器错误率的方法 从样本集推断总体概率分布的方法 估计方法 参数估计 非参数估计 监 非 估督 监 估 计参 督 计 数 参 数 说明： 监督：样本的类别是已知的 非监督：样本的类别是未知的 参数估计：概率密度形式已知，只需推断 出其中的未知参数 非参数估计：直接推断出概率密度本身 监督参数估计 条件：已知样本所属的类别及类条件总体概率密 度函数的形式，未知概率密度函数的某些参数 监督参数估计：从已知类别的样本集，推断（估 计）出总体分布（每一类概率密度函数）的某 些参数的方法 例如：从样本求正态分布的均值向量与协方差矩 阵 非监督参数估计 条件：未知样本所属类别，已知总体概率 密度函数形式，但未知其中的某些参数 非监督参数估计：推断出总体概率密度函 数中的某些参数的方法 非参数估计 条件：已知样本所属类别，但未知总体概 率密度函数的形式 非参数估计：从已知类别的样本数据中， 直接推断出概率密度函数本身 方法 样本类别 函数形式 目标 监督参数估 已知 已知 求函数参数 计 非监督参数 未知 已知 求函数参数 估计 非参数估计 已知 未知 求密度函数 估计方法的数学原理： 参数估计方法： •最大似然估计方法与Bayes估计方法 非参数估计方法： •Parzen窗法与kN 近邻法 最大似然估计与贝叶斯估计的不同： •最大似然估计中的参数是固定的但是未