概率密度估计打印.PPTVIP

kn的选择： 渐进收敛容易保证； 有限样本性质、最小平方误差与Parzen窗几乎相同。 3.2非参数估计 3.3 说明 高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。 概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。 进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。 先估计概率密度，再进行分类，可能走了“弯路”。 其中k个样本落在区域R中的概率服从二项式定理： 3.2非参数估计 k的期望值为 k的二项式形式的分布在均值附近有非常显著的波峰。因此，比值k/n就是概率P的一个很好的估计。当样本个数n非常大时估计将非常准确。 如果假设p(x)是连续的，并且区域 R足够小，以至于在这个区间中p几乎没有变化，那么有 3.2非参数估计 其中x为一个点，而V则是区域R 所包含的体积。得到p(x) 的估计为 3.2非参数估计 区域R的体积 R中的点 固定 越来越多 在概率上收敛 p(x)的平均估计 R足够小 3.2非参数估计 估计x点的密度 构造一串包括x的区域序列R1,R2,…,Rn,… 对R1，采用一个样本估计 对R2，采用两个样本估计 …… 设Vn是Rn的体积，kn是落入Rn中的样本数 p(x)的第n次估计 3.2非参数估计 满足 pn(x)收敛于p(x) ^ →p(x) 3.2非参数估计 有两种经常采用的获得这种区域序列的途径。其中之一是根据某一个确定的体积函数来逐渐收缩一个给定的初始区间。第二种方法是确定kn为n的某个函数，这样，体积就必须逐渐生长，直到最后能包含进x的kn个相邻点，这就是kn-近邻法”。 这两种方法最终都能够收敛，但是却很难预测它们在有限样本情况下的效果。 3.2非参数估计 这两种情况中的序列都是随机变量，它们一般会收敛，这样就能估计出测试样本点处的真正的概率密度函数。 3.2非参数估计 根据某个函数逐渐缩小区域面积 缩小区域面积的方式依赖于样本点的 两种非参数方法： Parzen窗法： 使区域序列的体积Vn按n的某个函数随n的增大的关系不断缩小，如Vn＝V1/√n，而对kn和kn/n加以限制使 ^ pn(x)收敛于p(x) 3.2非参数估计 两种非参数方法： kn近邻估计： 使kn为n的某个函数随N的增大而变大，如kn＝√n，而Vn的选取使相应的Rn是只包含kn个近邻点的最小区域，其体积可以作为x点密度估计时的最小Vn。 3.2非参数估计 两种常用的核(窗)函数： 均匀核(窗)： x =( x1, x2,…, xd)∈Rd -1/2 1/2 3.2非参数估计 正态（高斯）核： 3.2非参数估计 -2 2 0 核函数要满足概率密度函数的条件。 Parzen窗法：把核函数看作“窗”，根据样本 x1, x2,…, xn，若xi落入以x为中心，以hn为棱长的超立方体Rn中，则计数为1，否则为0，则 落入立方体Rn中的样本数 3.2非参数估计 根据 hN是控制“窗”宽度的参数，根据样本的数量选择。这就是Parzen窗方法。 叠加函数 叠加基函数 使用kn个以样本xi为中心的窗函数叠加对x处的概率密度进行估计。样本较密集的区域上概率密度值较大。 3.2非参数估计 窗函数一般应满足下面的条件： 保证 非负 保证 3.2非参数估计 窗的宽度hn对pn(x)的影响。定义δn(x)如下： 则pn(x)为 hn和 的关系如图所示。 3.2非参数估计 不同窗宽的估计效果： 二维圆周对称正态Parzen窗的例子，其中h取三个值。 3.2非参数估计 不同窗宽的估计效果： 具有5个样本点的样本集进行Parzen窗概率密度估计结果。 3.2非参数估计 对于任意的hn，分布是归一化的，即 3.2非参数估计 hn(Vn)的选取将在很大程度上影响pn(x)。如果Vn太大，估计结果的分辨率很低；如果Vn太小，估计结果的稳定性不够；有限样本个数的约束下，只能取某种折中。 如果样本个数无限，就可以在n增加时，让Vn缓慢地趋近于零，同时pn(x)收敛于某个概率密度函数p(x)。 对于固定的x值，pn(x)依赖于样本x1，…，xn，即pn(x)具有均值 和方差 3.2非参数估计 hn(Vn)的选取将在很大程度上影响pn(x)。 为了保证收敛性，必须对未知的概率密度函数p(x)、窗宽度hn和窗函数 做必要的约束，通常要求p(·)在点x处连续。下面将证明只要满足下列条件就能保证收敛: 3.2非参数估计 均值的收敛性 因为样本xi都是未知概率密度p(x)的独立同分布的抽样得到的，故有 3.2非参数估计 这个方程表明均值的期望是未知概率密度函数值的平均—对未知概率密度函数和窗函数的一种卷积。 方差