模式识别之总体分布的非参数估计.pdf

3.4 总体分布的非参数估计 参数估计方法：要求已知分布的具体形 式 实际情况可能是：不知道分布的形式或 者不是典型的分布形式 估计分布的非参数方法：直接从样本估 计总体分布的方法 3.4.1 基本原理 3.4.2 Parzen窗法 3.4.3 kN 近邻法 3.4.1 基本原理 设p (x)是x 的总体概率密度函数 p (x) x R 随机变量x 落入区域R 的概率: P = R p(x)dx 设从密度为p (x)的总体中独立地抽取N 个样本 x , x ,..., x 1 2 N 则，其中有k 个样本落入区域R 的概率Pk 满足 随机变量的二项分布 P C k Pk (1P )N k k N k N ! C N k !(N k )! k 的期望：E [k ] NP k 的众数：m [(N 1)P ] 取整 当k=m 时，Pk 取最大值： P max P m k 意义：在抽取的N 个样本中，其中k=m 个样本 落入区域R 的概率最大   有 k m (N 1)P NP p (x) k 则  k P  N x R 意义：k / N 是P 的一个好的估计 我们的目标是估计概率密度函数p (x) 本身 假设p (x) 是连续函数，并且取区域R 足够小，这 样可以认为p (x) 在区域R 上保持不变，则 概率 p (x) P = R p(x)dx =p(x)V x R 其中，V 是区域R 的体积，x 是R 中的某一个点  k P R p(x)dx p(x)V ˆ ˆ P = p(x)dx =p(x)V