非参数估计_KN近邻.ppt

非参数估计-Kn近邻估计 概率密度估计 概率密度估计问题： 概率密度估计 非参数概率密度估计的核心思路： 概率密度估计 假设N个样本的集合 概率密度估计 假设p(x)是连续的，且R足够小使得p(x)在R内几乎没有变化。 令R是包含样本点x的一个区域，其体积为V，设有N个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计： 如果要求 窗口宽度的影响 KN近邻法作后验概率的估计由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为： N个样本落入VN内有KN个，KN个样本内有Ki个样本属于ωi类 则联合概率密度： 根据Bayes公式可求出后验概率： K近邻分类准则：对于待分样本x，找出它的k个近邻，检查 它的类别，把x归于样本最多的那个类别。 K近邻分类的错误率随K↑，Pk↓,最低的错误率为Bayes分类。 谢谢观赏！ * 报告人：马振磊 统计决策法 Bayes决策法 参数估计法 非参数估计法 线性判别函数 概率方法 几何方法 聚类分析 非线性判别函数 非参数估计 最大似然估计和贝叶斯估计都属于参数化估计。 要求待估计的类概率密度函数形式已知。 在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术。 非参数估计 原理 不需获取类类概率密度的函数形式，而是直接利用学习样本估计特征空间任意点的类概率密度的值。 即直接由学习样本来设计分类器。 非参数估计 给定的样本集： 估计概率分布： 一个向量x落在区域R中的概率P为： 因此，可以通过统计概率P来估计概率密度函数p(x) 是根据概率密度 函数为p(x)的分布独立抽取得到的。 那么，有k个样本落在区域R中的概率服从二项式定理： k 的期望值为： 对P的估计： 当 时， 估计是非常精确的 对p(x) 在小区域内的平均值的估计 非参数估计 思路 用已知类别的学习样本在特征空间X处出现的频度 来近似 即： 其中：v为包含X点的区域 , k为n个样本中落入体积v的样本数。 非参数估计 故： 表示单位体积内落入x点邻域的样本在总样本中的比例，可以用此来近似样本在X点处的类概率密值。 非参数估计 问题一 若v固定，则当n增大时， 只能表示平均概率，而不是点概率密度 因此，为保证 为点概率密度，必须有 非参数估计 问题二 若样本数n固定， 则当 时，则会出现x邻域内不包含任何样本，得出 的错误估计。 解决方案 考虑让v和k都随n的变化进行调整，即： 非参数估计 能够收敛到p(x)，那么必须满足： 选择Vn 选择kn 非参数估计 非参数估计 基本方法 非参数估计法 Parzen窗口法 Kn近邻法 基本方法 Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数 kn近邻法：主动选择kn与n的关系， vn被动确定，指包含kn个样本的x邻域 非参数估计 Kn近邻法 Parzen窗口法的估计效果取决于样本总数n及 当n较小时，对 较为敏感，即 ： 较大容易产生平均误差， 估计较平坦，反映 不出总体分布的变化。 较小容易产生噪声误差，大部分体积将是空的（即不包含样本），从而使 估计不稳定。 Kn近邻法 其原因是由于 只与总样本数有关，即进行概率密度 估计时，任何x点处的 都是相同的 一种合理的选择是对样本出现密度大的x处， 可较小，而对样本密度较小的x处， 则相对大一些，这就是近邻法。 Kn近邻法 Kn近邻法 基本原理 主动选择 与n的关系， 被动确定，即使得体积 为样本密度的函数，而不是样本总数的函数。 可选择 ，该条件可满足： a. b. c. Kn近邻法 近邻法，有效地解决了Parzen窗口法存在的问题，对平均误差和噪声性误差均有较好的改善 选择 后， 如何计算 ？ Kn近邻法 为与x点相邻的 个近邻样本中，与x距离最远的样本所构成的区域，即 Kn近邻法 用Kn近邻法设计分类器的过程： 获取n个学习样本 令 找到待识样本X处的Kn个近邻 计算Kn 个邻近到X的距离，找到最远距离的样本 计算邻域的直径 ，计算邻域的体积 Kn近邻法