模式识别(第章密度估计).pptVIP

第3章 概率密度函数的估计 3.5 总体分布的非参数估计 参数估计方法：要求已知分布的具体形式 实际情况可能是：不知道分布的形式或者不是典型的分布形式 估计分布的非参数方法：直接从样本估计总体分布的方法 3.5.1 基本原理 3.5.2 Parzen窗法 3.5.3 kN 近邻法 3.5.1 基本原理 假设可以使用无限多样本，从理论上分析公式的性质 3.5.2 Parzen窗法 1 Parzen窗估计的基本概念 2 估计量 p^N(x) 为概率密度的条件 3 窗函数的选择 4 窗宽对估计量的影响 5 估计量的性质 1 Parzen窗估计的概念 2 估计量是密度函数的条件 3 窗函数的选择 4 窗宽对估计量的影响 5 估计量的统计性质 6 实例 3.5.3 kN近邻估计 Parzen窗法的基本思想：固定体积，每一体积内包含的不同数量的样本 kN近邻估计基本思想：固定每一个体积内所包含的样本个数，而体积本身的大小可以变化 具体做法： 对于给定的 N 个样本，我们事先确定 N 的某一个函数 kN，表示样本个数 在点 x 的周围，选择一个体积，不断地扩大，直到捕捉到 kN 个样本为止，这些样本称为 x 的kN个近邻 估计点 x 的概率密度为 方窗函数 一维的图形 正态窗函数 一维图形 指数窗函数 向量的长度或者模 一维图形 说明： 对于一个实际问题，估计结果的好坏取决于窗函数的类型及参数（窗宽） 问题： 只有有限个样本数的条件下，讨论窗宽对估计量的影响 定义一个新函数 则 取平均 窗宽 hN 的大小会影响 δN(x) 的幅度大小，两者之间成反比关系 情形 1：窗宽 hN 很大，此时δN(x-xi) 的幅度很小，并且只有离 x 很远的样本对概率密度才无贡献。因此，密度估计值是 N 个宽度较大、变化缓慢的函数的叠加，这是一个概率密度平均的估计，其分辨率很低 情形 2：窗宽 hN 很小，此时δN(x -xi) 的幅度很大。此时，密度估计值是 N 个以样本为中心的尖峰函数的叠加，变化剧烈。当 hN→0 时， δN(x -xi) 趋于以 xi 为中心的 δ 函数，估计量变成样本为中心的 δ 函数的叠加 因为样本数是有限的，对于实际问题，我们只能折中考虑 一般而言，样本数目较多时，窗宽可以取小一些 估计量是渐近无偏和平方误差一致的，前提是满足下列三个基本条件 (1) 总体密度 p(x) 在点 x 处连续 (2) 窗函数满足下列关系式 保证估计量是密度函数 窗函数有界 窗函数随着 u 的增加而迅速趋于零 (3)窗宽满足下列条件 意义：体积随着 N 的增大而趋于零，缩减的速度不能太快，其速率低于 1/N (1) 标准正态分布的密度函数 N( 0, 1) (2) 两个均匀分布的混合密度 窗函数为正态窗函数 窗宽为 其中 h1 是可以调节的参数（使用者可以选取） 考察估计量与样本数 N、可调参数 h1 的关系 N=∞ N=256 N=16 N=1 窗函数 逼近真实密度 趋于平坦 讨论：pN(x) 随N, h1 的变化情况 ①当N＝1时， pN(x)是一个以第一个样本为中心的正态形状的小丘，就是窗函数本身 ②当 N＝16 及 N=256 时 h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦 ③当N→∞时， pN(x) 收敛于一平滑的正态曲线， 得到了较精确的估计 N=∞ N=256 N=16 N=1 逼近真实密度 趋于平坦 ①当 N＝1 时， pN(x) 实际是窗函数 ②当 N＝16 及 N=256 时 h1＝0.25 曲线起伏大 h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当 N→∞ 时，曲线较好 Parzen窗法的优缺点： ①优点：普遍适应。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计 ②缺点：要求样本足够多，才能有较好的估计，计算量大，存储量大 使用Parzen窗法时存在的主要困难： 窗宽的选择非常重要，也非常困难。窗宽太大，得到一个较为平坦的分布，反映不出真实分布的变化。如果选得太小，估计量变化太大，很不稳定 优点： 如果点 x 附近的密度比较高，则包含kN个样本的体积就比较小，可以提高分辩率。反之，如果点 x 附近的密度比较低，则体积就比较大，分辩率较低 基本估计公式： 满足的条件是 标准正态分布 混合分布 kN近邻法的缺点： 需要样本多 计算量大 存储量大 * 模式识别 Pattern Recognition 许建华 xujianhua@njnu.edu.cn 南京师范大学计算机学院 2009年秋季 3.1 引言 3.2 参数估计的基本概念 3.3 最大似然估计与正态分