概率密度函数的窗函数估计.ppt

概密的窗函数估计法 * By: Mamba Never Out 类概密的非参数估计 参数估计要求类概密的函数形式是已知的（如正态分布），但是常见的一些函数形式很难拟合实际的类概密。这时候就要用到非参数估计，也称为总体推断。即直接用已知样本去估计总体密度分布。它适用于类概密的函数形式和相关参数均未知的情况，此时就要用给定的样本确定类概密的函数形式和参数。 * * 记 类的概密 ，则随机矢量 落入区域R中的概率为 设有N个样本是从上述概密为 的总体中独立抽取的，N个样本中有 k个样本落入区域 R中的概率 服从离散随机变量的二项分布： 其中：P是样本落入R内的概率， 是k个样本落入R内的概率。二项分布在均值附近有一个陡峭的峰，可知，k的数学期望E[k]=NP k ,所以对概率P的估计为： * 设 在R内连续变化，当R逐渐减少的时候，小到 在R上几乎没有变化时，则： V是R包围的体积。 所以得到： * 上面就是 的估计值，与样本数N， 包含 的区域R的体积V，及落入V中的样本数k有关 * 为了提高 处的概密 的估计精度。 构造一串包括 的序列 ，而落在每一个对应区域中的个数假定依次为K1，K2,......Kn。其中，第一次操作获得R1，使用一个样本，第n次操作获得区域序列中的第n项Rn，使用了n个样本。则在这样的情况下，第n次操作得到的概率密度的估计值为 （N=1,2,3......） 要使概率密度的上述估计值 收敛于真实的概率密度 必须满足以下几个条件： （1） （2） （3） 其中，（1）保证了概率密度的估计值收敛于真实值；（2）保证使 收敛于真实概率P；（3）则保证了概率密度的估计 值 收敛的必要条件。 原理上满足上述3个条件的区域序列和样本选取的有两种方法: 1.Parzen窗法 2. -近邻估计 * Parzen窗法 * 在n维特征空间中，取区域Rn是一个n维的超立方体， 是它的棱长，则它的体积为 在单位超立方体内取值1，其他为0 * 一个样本 落入 为中心， 为棱长的超立方体Rn内计数为1，否则为0。则落入该立方体Rn的样本数 代入 得到 这种方法称为Parzon窗估计法。 * Parzen窗估计法特点 适用范围广，无论概密是规则的或不规则的、单峰的或多峰的。 但它要求样本分布较好且数量要大，显然这也是一个良好估计所必须的，但它的取样过程的操作增加了取样工作的复杂性。 窗函数选取得当有利于提高估计的精度和减少样本的数量。 * -近邻估计 基本思想： 预先确定 是N的某个函数，把含有 点的序列区域的体积 作为 中 的函数，而不是直接作为实验样本N 的函数。方法是在 点附近选择最小的区域，让他只含 个样本。如果 点附近概密较大，则包含 个样本的区域体积就相对小。显然，当区域为含有 个邻近样本而扩展到高密度区时，扩展过程必然停止。 * -近邻估计 若满足了上述（1）（2）（3）条件，则 * * * * * * * * * * *