模式识别-第4章概率密度函数的非参数估计讲述.pptx

第四章 概率密度函数的非参数估计 4.1 基本思想 4.1 基本思想 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计： 相当于用R区域内的平均性质来作为一点x的估计，是一种数据的平滑。 有效性 当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 收敛性 构造一系列包含x的区域R1, R2, …，对应n=1,2,…，则对p(x)有一系列的估计： 当满足下列条件时，pn(x)收敛于p (x)： 区域选定的两个途径 Parzen窗法：区域体积V是样本数n的函数，如： K-近邻法：落在区域内的样本数k是总样本数n的函数，如： Parzen窗法和K-近邻法 4.2 Parzen窗方法 定义窗函数 1维数据的窗函数 概率密度函数的估计 超立方体中的样本数： 概率密度估计： 窗函数的要求 上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。 只要满足如下条件，就可以作为窗函数： 窗函数的形式 方形窗和高斯窗 方形窗函数 高斯窗函数 窗函数的宽度对估计的影响 hn为窗的宽度 hn=5 hn=1 hn=2 hn=0.5 识别方法 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的宽度h； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 Parzen窗的神经网络实现 神经元模型 简化神经元模型 Parzen窗函数的神经元表示 窗函数取Gauss函数，所有的样本归一化，令神经元的权值等于训练样本，即： 则有： 概率神经网络(PNN, Probabilistic Neural Network) PNN的训练算法 begin initialize j = 0; n =训练样本数，aji=0 do j ?j + 1 normalize : train : wj?xj if then aji?1 until j = n PNN分类算法 begin initialize k = 0; x ?待识模式 do k ? k + 1 if aki = 1 then until k = n return end 径向基函数网络(RBF, Radial Basis Function) RBF与PNN的差异 神经元数量：PNN模式层神经元数等于训练样本数，而RBF小于等于训练样本数； 权重：PNN模式层到类别层的连接权值恒为1，而RBF的需要训练； 学习方法：PNN的训练过程简单，只需一步设置即可，而RBF一般需要反复迭代训练； 径向基函数网络的训练 RBF的训练的三种方法： 根据经验选择每个模式层神经元的权值wi以及映射函数的宽度σ，用最小二乘法计算模式层到类别层的权值； 用聚类的方法设置模式层每个神经元的权值wi以及映射函数的宽度σ，用最小二乘法计算模式层到类别层的权值； 通过训练样本用误差纠正算法迭代计算各层神经元的权值，以及模式层神经元的宽度σ； 4.3 近邻分类器 后验概率的估计 Parzen窗法估计的是每个类别的类条件概率密度 ，而k-近邻法是直接估计每个类别的后验概率 。 将一个体积为V的区域放到待识样本点x周围，包含k个训练样本点，其中ki个属于ωi类，总的训练样本数为n，则有： k-近邻分类器 k-近邻分类算法 设置参数k，输入待识别样本x； 计算x与每个训练样本的距离； 选取距离最小的前k个样本，统计其中包含各个类别的样本数ki； k-近邻分类，k=13 最近邻规则 分类规则：在训练样本集中寻找与待识别样本x距离最近的样本x，将x分类到x所属的类别。 最近邻规则相当于k=1的k-近邻分类，其分类界面可以用Voronoi网格表示。 Voronoi网格 距离度量 距离度量应满足如下四个性质： 非负性： 自反性： 当且仅当 对称性： 三角不等式： 常用的距离函数 欧几里德距离：(Eucidean Distance) 常用的距离函数 街市距离：(Manhattan Distance) 常用的距离函数 明氏距离：(Minkowski Distance) 常用的距离函数 马氏距离：(Mahalanobis Distance) 常用的距离函数 角度相似函数：(Angle Distance) 常用的距离函数 海明距离：(Hamming Distance) x