模式识别总顺序no5no4陈艳071021非参数估计.pptxVIP

5 总体分布的非参数估计方法 ; 前述都设已知总体分布（即已知概密），但实际不然。因此如何用样本来估计总体分布的问题，就是本节的目的—即非参数估计。 含有p(x)，p(x|wi)，p(wi|x) 等的估计。 而p(wi|x)的估计的一种基本方法是绕过概率的估计而直接求决策函数的方法—即近邻法则。 ; 1) 本节所述估计的目的 ;2) 非参数估计的基本思想 ;② 设N个样本x1,x2,…,xn是从概密为P(x)的总体中独立抽取的，则N个样本中有k个样本落在区域R中的概率Pk自然服从二项分布，即 其中,P为样本X落入R的概率,Pk为k个样本落入R的概率。 ;　　　使Pk取最大的k值称为众数（记为m）， 即 　　　（众数的意义是：在抽出的N个样本中有m个样本落入区域R的概率最大。） 　　　对二项分布，众数m为(N+1)?P的整数部分，即 　　　这样，在Pm处，就有 　　　　　　　m = k ? (N+1) ? P’ ? N ?P’ 　　　即　　　P’ ? k / N 式中P’是P的估计，即P’是总体密度P(x)在区域R上的一个估计。; ③ 设P(x)连续，且区域R的体积V足够小，则 设P’(x)是P(x)的估计，由上面二式得： 于是可得： 上式就是X点概率密度P(x)的估计值，它与k、N、V有关。;说明： ① 从理论上讲，要使P’(x)趋于P(x)，就须让积分域R无限小 （即让其V近于零），同时让N、k无穷大，但实际估计时体积V不是任意的小，且样本总数也是有限的，所以P’(x) 总是存在误差。 ② 如果把体积V固定，样本取得足够多，则K/N将在概率上收敛，但这时得到的是一个R区域上P(x)的平均估计。 即 而要想得到P’(x)，而不是P(x)在R上的平均，则须让V趋于零。; ③ 如果把样本数目固定，而令V趋于零，由于样本数目总是有限的，所以当V趋于零时，会使区域R不断缩小以致于可能不包含任何样本，这就会得出P’(x)=0(无价值的估计）； 　　　如果恰巧有一个或几个样本同X（点）重合的出现在R中，则会使估计发散到无穷大（这也是无价值的估计）。 ; 3) 理论上的解决方案 ;③ 应满足： 则估计序列 （N=1，2，…） 处处收敛于P(x)。 说明： 在区域平滑地缩小，且P(x)在X点连续的情况下，则： 条件①可使空间平均密度P / V收敛于真实的密度P(x)； 条件②仅对P(x)≠0的点才有意义，即当P(x)≠0时，使 P’(x)≠0，可使频率在概率意义上收敛于概率；; 条件③是式 收敛的必要条件，它描述了N的增长速度要大于kN的增长速度，使kN/N为无穷小，而kN/N和VN为同阶的无穷小，使 为非无穷大的有界数，避免 　　凡满足上述三个条件的区域序列和样本选取都可以。;1) Parzen窗估计的概念 ? 要估计d维空间中某点X的概率密度时，可以以X为中心，作一边／棱长为hN的d维超立方体VN，则其体积为： 　　此立方体被视为一个窗口。 　　现在的问题是要求出落入VN中的样本数kN。; u = {u1 ,…, ud}T Φ(u)是一个以原点为中心，边／棱长为1的d维超立方体函数，其函数值为1（可用于计样本数）。 ; ? 由于通过坐标的平移和尺度的缩放可以改变超立方体的位置和大小。所以对于一个以X为中心，以hN为边／棱长的超立方体，用变量Xi（此Xi可作样本）刻划下的通用窗函数的形式如下： 1 当 0 其他; 换句话说，就是检查d维空间中的每一个样本Xi，如果向量X-Xi中的每一分量都小于hN/2，则该样本必在VN以内（且计数为1），否则就在VN以外（且不计数）。 故落入VN内的样本数为： 这样可得X点处概率估计为 这就是Parzen窗法估计的基本公式。;讨论： ① 上式实际上是一个迭加函数，窗函数作迭加基函数，每个样本点处作为迭加节点，使用kN个以样本Xi为中心的窗函数迭加对X处的密度进行估计； ② 自然，样本较密集的区域上概密估计（迭加函数）值较大； ③ 上式说明每一样本Xi对密度函数的贡献只在一个窗口范围内； ④ 每一样本Xi对估计P’N(x)所起的作用依赖于它（