模式识别 第三章 概率估计.ppt

第三章 概率密度函数的估计 主要内容 3.1 引言 基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数 进行Bayes决策需要事先知道两种知识： 各类的先验概率； 观测向量的类条件概率密度。 实际问题中并不一定具备获取准确统计分布的条件。 知识的获取（估计）： 一些训练数据（样本）； 对问题的一般性认识。 基于样本的Bayes分类器设计 基于样本的两步Bayes分类器设计: 利用样本集估计P(ωi)和p(x|ωi) 基于上述估计值设计判别函数及分类器 面临的问题： 如何利用样本集估计P(ωi)和p(x|ωi)； 估计量的评价：估计量的性质如何？ 如何利用样本集估计错误率的方法 概率密度估计的方法 类的先验概率估计（较容易）： 依靠经验； 用训练数据中各类出现的频率估计。 频率：试验在相同的条件下重复N次，其中M次事件A发生，则A发生的频率为： fN(A) = M / N 概率：当N很大时，频率会趋向一个稳定值，称为A的概率： 概率密度估计的方法 类条件概率密度估计（非常难）： 概率密度函数包含了一个随机变量的全部信息； 概率密度函数可以是满足下面条件的任何函数： 概率密度估计的方法 类条件概率密度估计的两种主要方法： 参数估计：根据对问题的一般性认识，假设随机变量服从某种分布，其概率密度函数形式已知，只是表征函数的参数未知，通过训练数据来估计： 训练样本：监督和非监督 估计方法：最大似然估计、Bayes估计 非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计 训练样本：监督 估计方法：Parzen窗法、kn-近邻法 3.2 参数估计 统计量：样本集的某种函数f (K)；一般来说，每一个样本都包含着母体的某些信息，为了估计未知参数就要把有用的信息从样本中抽取出来。为此，要构造训练样本的某种函数，这种函数在统计学中称为统计量。 参数空间：在统计学中，总体分布的未知参数θ所有可能取值组成的集合(Θ)。 3.2 参数估计 估计量的评价标准 估计量的评价标准 无偏性：E( )=θ 有效性：D( )小，更有效 一致性：样本数趋于无穷时， 依概率趋于θ： 3.2.1 最大似然估计 Maximum Likelihood (ML) 样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。 概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi ,θ)表示。 估计的参数θ是确定而未知的“数”，Bayes估计方法则视θ为随机变量。 独立地按概率密度p(x|θ)抽取样本集K={x1, x2 ,…, xN}，用K估计未知参数θ 似然函数 似然函数 似然函数： 最大似然估计 似然函数给出了从总体样本中抽出N个样本的概率。 假设样本是独立抽取的，并且不同类别的参数是相互独立的。 最大似然估计就是根据已经抽取的N个样本，来估计这组样本“最可能”来自哪个密度函数。 最大似然估计示意图 计算方法 最大似然估计量使似然函数梯度为0 ： 一元正态分布例解 一元正态分布均值的估计 一元正态分布方差的估计 多元正态分布参数最大似然估计 最大似然估计和Bayes估计比较 最大似然估计计算复杂度比Bayes估计小。 最大似然估计比Bayes估计更易理解和掌握。 Bayes估计比最大似然估计能利用更多的信息，如果这些信息是可靠的，则Bayes估计更准确。但 当训练样本趋于无穷多时，两种估计效果相同； 如果没有先验信息（如都是均匀分布的），两者估计是相似的。 当后验概率的波形较宽，或在估计值附近不对称时，Bayes估计要好。 通过密度函数的线性合并获取未知的 模型，形式如下： 3.2.4 EM算法：问题描述 假设J分布符合高斯混合模型，算法目的是确定各个高斯分布的参数； 高斯混合模型被定义为K个高斯密度函数的线性组合： 其中 为均值为 ，协方差为 的高斯分布， 是混合参数，看做第i个高斯分布的权重，表征先验概率。且 3.2.4 EM算法：问题描述 的概率密度函数为 参数估计的最常用方法是最大似然估计，通过使似然函数达到最大值得到参数的估计值。 将高斯混合密度函数中所有待定的参数记为 ，则似然函数为： 假定可以观察到Z，问题变为求下式最大值 但是Z是观察不到的，因此EM算法假设Z的分布依据上一轮的估计参数确定，求取上式期望的最大值。定义： E阶段：在迭代的（t+1）步，其中 已知，计算期望值： M阶段：通过最大化 计算