Ch 05. 非参数方法ppt课件.pptVIP

Parzen窗方法 h（或者V）对 的影响 h非常大时， xj到x的距离对 的影响不大 为n个宽的、慢变的函数相加 是对p(x)的非常平滑的估计——散焦估计 估计结果的分辨率低 h非常小时， 的峰很尖锐 为n个以样本点为中心的尖脉冲的叠加 是对p(x)的充满噪声的估计 估计结果的统计稳定性不足 Parzen窗方法 在有限样本个数n的约束下，h（或V）应取某种可接受的折中。 随着n的增大，h （或V）应逐渐减小，以使得对p(x)的估计更为精确 Parzen窗方法 窗函数的泛化 不必规定R为超立方体，而是某种由窗函数定义的一般化的形式，仅需窗函数满足以使得 为一个合理的概率密度函数 h：窗的宽度 举例1 p(x)为零均值、单位方差、单变量的正态分布 窗函数为 体积 Parzen窗估计 举例1 举例1：二维情况 举例1：二维情况 举例2 p(x)为一个均匀分布与一个三角分布的混合分布 窗函数 窗宽度 举例2 分类 基于Parzen窗估计的分类器 对每一个类，用Parzen窗估计其类条件概率密度 然后，利用贝叶斯公式求后验概率 根据“最大后验概率”（MAP）原则进行分类 分类 Parzen窗分类器的决策域与窗函数 窗宽度较小 窗宽度较大 优点 vs. 缺点 非参数方法 优点 通用性：不必了解分布的形式就能对其作出估计 在训练样本足够多的情况下，无论实际的概率密度函数的形式如何，最终肯定能得到一个可靠的收敛的结果 缺点 需要大量训练样本，往往比已知分布的参数形式而进行参数估计所需的训练样本个数多得多。 “维数灾难”（curse of dimensionalty）对训练样本个数的需求，随特征空间的维数指数增长。 小结 非参数估计 直接估计密度函数而不需知道函数形式 优点 通用性：不必了解分布的形式就能对其作出估计 在训练样本足够多的情况下，无论实际的概率密度函数的形式如何，最终肯定能得到一个可靠的收敛的结果 缺点 需要大量训练样本，往往比已知分布的参数形式而进行参数估计所需的训练样本个数多得多。 “维数灾难”（curse of dimensionalty）对训练样本个数的需求，随特征空间的维数指数增长。 小结 Parzen窗估计 对特定的样本数n，固定窗的宽度（体积） * （）表示组合C_n^k P_k在nP附近显著，表明可以粗略认为k=nP 黑板画图讲解 phi * * 上半部较适合小窗宽，下半部适合大窗宽 模式识别 2009 模式识别 2009 模式识别 2009 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Xin Geng, ACM MM 2006 Ch 05. 非参数方法 Part 1 Parzen窗估计 模式分类的途径 途径1：估计类条件概率密度 通过 和 ，利用贝叶斯规则计算后验概率 ，然后通过最大后验概率做出决策 两种方法 方法1a：概率密度参数估计 基于对 的含参数的描述 方法1b：概率密度非参数估计 基于对 的非参数的描述 途径2：直接估计后验概率 不需要先估计 途径3：直接计算判别函数 不需要估计 或者 参数估计可能存在的问题 概率密度函数的形式未知 经典的密度函数往往不能很好的描述现实数据 经典密度函数的参数形式一般都是单模的 现实数据往往是多模的 有些复杂数据很难用参数形式建模 解决办法：非参数方法（non-parametric method） 非参数方法 能处理任意的概率密度 不必假设密度函数的参数形式 No Free Lunch! 非参数方法取得较好结果所需训练样本一般远远大于参数化方法 非参数密度估计 假设x的概率密度为p(x)，则任一x 落入区域R的概率为 非参数密度估计的基本思想 通过估计x周围一个小区域R的概率来估计p(x) 假设n个i.i.d.样本，其中k个样本落入R中的概率 k的期望值 当数据量n很大时，Pk在nP附近有非常显著的高峰，可以用k的观察值代替E(k) 二项