模式识别概率密度函数的估计.PPTVIP

第四章 概率密度函数的估计 概率密度估计的基础知识 参数估计理论 极大似然估计（MLE） 贝叶斯估计（或称最大后验估计） 贝叶斯学习 非参数估计理论 密度估计 Parzen窗估计 K近邻估计（KNE） §4-1 概率密度估计的基础知识 贝叶斯分类器中只要知道先验概率、条件概率或后验概概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。 二．监督参数估计与非监督参数估计 监督参数估计：样本所属的类别及类条件总体概率概率密度函数的形式已知，而表征概率密度函数的某些参数是未知的。目的在于：由已知类别的样本集对总体分布的某些参数进行统计推断，此种情况下的估计问题称为监督参数估计。 非监督参数估计：已知总体概率密度函数形式但未知样本所属类别，要求推断出概率密度函数的某些参数，称这种推断方法为非监督情况下的参数估计。 注：监督与非监督是针对样本所属类别是已知还是未知而言的。 三. 参数估计得基本概念 1. 统计量：样本中包含着总体的信息，总希望通过样本集把有关信息抽取出来。也就是说，针对不同要求构造出样本的某种函数，该函数称为统计量。 2. 参数空间：在参数估计中，总假设总体概率密度函数的形式已知，而未知的仅是分布中的参数，将未知参数记为 ，于是将总体分布未知参数 的全部可容许值组成的集合称为参数空间，记为 。 3. 点估计、估计量和估计值：点估计问题就是构造一个统计量 作为参数 的估计 ，在统计学中称 为 的估计量。若 是属于类别 的几个样本观察值，代入统计量d就得到对于第i类的 的具体数值，该数值就称为 的估计值。 4. 区间估计：除点估计外，还有另一类估计问题，要求用区间 作为 可能取值范围得一种估计 ，此区间称为置信区间，该类估计问题称为区间估计。 5. 参数估计方法：参数估计是统计学的经典问题，解决方法很多，在此只考虑两种常用方法：一种是最大似然估计方法，另一种是贝叶斯估计方法。 (1) 最大似然估计：把参数看作是确定而未知的，最好的估计值是在获得实际观察样本的最大的条件下得到的。 (2)贝叶斯估计：把未知的参数当作具有某种分布的随机变量，样本的观察结果使先验分布转化为后验分布，再根据后验分布修正原先对参数的估计。 6. 参数估计的评价：评价一个估计的“好坏”，不能按一次抽样结果得到的估计值与参数真值 的偏差大小来确定，而必须从平均和方差的角度出发进行分析，即关于估计量性质的定义。 §4-2参数估计理论 一．极大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。 1.一般原则： 第i类样本的类条件概率密度： P(Xi/ωi)= P(Xi/ωi﹒θi) = P(Xi/θi) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的极大似然估计就是把P(Xi/θi)看成θi的函数，求 出使它极大时的θi值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 ： 对θi求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. 2. 多维正态分布情况 ① ∑已知, μ未知,估计μ