模式识别2013参数估计 (6-1 最大似然估计 贝叶斯估计MLE BE).pdf

Ch5 模式识别原理 模式识别原理 统计判决中的参数估计 -Maximum likelihood and Bayesian parameter estimation 华中科技大学自动化学院 智能科学与技术系 图像分析与智能系统研究室 曹治国 邹腊梅 • 本章目的：已知类别的样本 （训练样本） → 学习或训练→获得类概密 2 5 Parameter Estimation •In Chapter 4, we learned how to design an optimal classifier if we knew the prior probabilities P(), and class-conditional i densities p(x|). i •What can we do if we do not have this information? •What limitations will we face? There are two common approaches to parameter estimation: maximum likelihood estimation and Bayesian estimation. •Maximum likelihood: treat the parameters as quantities whose values are fixed but unknown. •Bayes: treat the parameters as random variables having some known prior distribution. Observations of samples converts this to a posterior. •Bayesian learning: sharpen the a posteriori density causing it to peak near the true value. 5.1 统计推断概述 参数估计   如果已知  类的概密 p(x ) 的函数类型，即知道 i i i类的概型，但不知道其中的参数或参数集            i ( 1 , 2 , , m) 可采用参数估计的方法   ，  确定未知参数 ，当解得这些参数 后p(x )也就确定了。 i 参数估计有两类方法: 1. 将参数作为非随机量处理，如矩法估计、 最大似然估计； 2. 将参数作为随机变量，贝叶斯估计就属此 类。