模式识别5 概率密度估计.ppt

概率密度估计 引言 参数估计 非参数估计 说明 引言 进行Bayes决策需要事先知道两种知识： 各类的先验概率P(ωi)； 观测向量的类条件概率密度p(x|ωi)。 知识的获取（估计）： 一些训练数据； 对问题的一般性的认识。 引言 类的先验概率的估计（较容易）： 依靠经验； 用训练数据中各类出现的频率估计。 用频率估计概率的优点： 无偏性； 相合性； 收敛速度快。 引言 类条件概率密度的估计（非常难）： 概率密度函数包含了一个随机变量的全部信息； 概率密度函数可以是满足下面条件的任何函数： 引言 概率密度估计的两种主要思路： 参数估计： 根据对问题的一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。 非参数估计： 不用模型，而只利用训练数据本身对概率密度做估计。 参数估计（问题描述） 估计随机变量X的概率密度： 训练数据—样本 x1,x2,…xn 当估计第i类条件概率密度时，样本就是标识为第i类的数据。 假设已知X所服从的分布形式，并且待估计的参数为θ 。 例如，假定服从正态分布N(μ,∑ )， 待估参数是θ= （μ,∑ ） 参数估计 极大似然估计 Bays 估计 极大似然估计（Maximum Likelihood） 把待估计的参数θ看作“数” 为了描述概率密度p(x)与参数θ的关系，用函数p(x|θ)来表示 似然函数 对数似然函数 最大似然估计 极大似然估计 参数求解：梯度为0 极大似然估计 正态分布假设下的极大似然参数估计 似然函数 极大似然估计 例：均值μ的估计 极大似然估计 同理，得协方差阵∑的估计 Bayes估计 也叫最大后验概率估计（maximum a posteriori）(MAP) 把待估计的参数θ看作随机变量，希望使后验概率最大 Bayes估计 由Bayes 公式 Bayes估计 p(θ)是参数作为随机变量的先验概率密度函数，由先验知识给出 Bayes估计的求解 Bayes估计 Bayes(MAP)估计与ML估计的关系： 当样本数趋于无穷时，MAP估计一般趋向于ML估计。 ML估计也可以看作参数的先验概率密度函数服从均匀分布（相当于没有先验知识）的MAP估计。 当参数的先验概率密度函数比较准确时，MAP估计的小样本性质大大优于ML估计。 非参数估计 与参数估计需要事先假定一种分布函数不同，非参数估计不做任何模型假设。 两种主要方法： 直方图法； 核方法。 非参数估计 直方图法： 用直方图逼近概率密度函数。 高维空间由于数据稀疏，很难应用。 非参数估计 核方法： 用某种核函数的线性组合估计概率密度。 模式识别中常用的两种方法： Parzen窗法; kn-近邻法 两种常用的核函数 均匀核 两种常用的核函数 正态（高斯）核 核函数 核函数要满足概率密度函数的条件 Parzen窗法 把核函数看作“窗”，根据样本x1,x2,…xN Parzen窗法 满足归一化条件 Parzen窗举例 窗宽hN的选择 保证依概率渐进收敛到真实的概率密度 不同维数达到相同估计精度所需的样本数 不同窗宽对估计的影响 kn-近邻估计 kn-近邻估计：把窗扩大到刚好覆盖kn个点。落在窗内的样本点的数目固定，窗宽是变化的。 kn根据样本总数n选择。 kn-近邻估计 概率密度估计表达式：点x处窗的“体积”是VN 说明 高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。 概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。 进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。 先估计概率密度，再进行分类，可能走了“弯路”。 作业 P170,5.1 P170,5.2 * * 均值的似然估计与协方差阵无关。 x表示所有的训练数据：x1,x2,..xn 分母中的p(x)与参数估计无关，MAP估计等价于 -0.5 0.5 hN是控制“窗”宽度的参数，根据样本的数量选择。 是以xj为中心，宽度为hN的窗 对任何p(x) 收敛的充要条件 样本个数N 维数 n 精度N-4/n+4 16 1 0.1 32 2 0.1 178 5 0.1 3162 10 0.1 3 × 1013 50 0.1 维数灾难：当维数较高时，样本量无法达到精确估计的要求 *