第3章概率密度函数的估计试题.ppt

第3章 概率密度函数的估计 参数估计的基本概念 正态分布的监督参数估计（最大似然估计） 总体分布的非参数估计（Parzen窗法，K近邻法） 分类器错误率的估计 3.1 引言 未知， 需要利用样本集来估计。 3.1 引言—由样本集估计 参数估计 监督、非监督（最大似然估计、贝叶斯估计） 非参数估计 Parzen窗法、K近邻法 3.2 参数估计—基本概念 统计量 利用包含总体信息的样本构造的某种函数 参数空间 未知参数 的全体容许值构成的集合称为参数空间 。 点估计、估计量、估计值 点估计即利用统计量作为对参数 的估计量 ，利用样本得到估计量的具体数值，称为估计值。 区间估计 用区间 作为 取值的范围的一种估计，该区间称为置信区间，这类估计称为区间估计。 3.2 参数估计—估计量的评价 无偏性 如果参数 的估计量 的数学期望等于 ，则称估计是无偏的。如果当样本趋于无穷时估计才具有无偏性，则称为渐进无偏。 3.2 参数估计—最大似然估计（监督） 前提条件： （1） 是确定而未知的； （2）样本所属类别已知，且是从各类总体中独立抽取的； （3） 形式已知（如正态），但参数 未知 （如 ） （4）i类样本不影响j类信息。 （类间独立，可分别研究C类问题） 3.2 参数估计—最大似然估计（监督） 基本思想： 3.2 参数估计—最大似然估计（监督） 计算过程： 3.2 参数估计—最大似然估计（监督） 注意问题： 3.2 参数估计—最大似然估计（监督） （2）求极大值无解（例：均匀分布情况） 3.3 正态分布参数的最大似然估计（监督） 一维情况 3.3 正态分布参数的最大似然估计（监督） 3.3 正态分布参数的最大似然估计（监督） 多维推广： 3.3 正态分布参数的最大似然估计（监督） 算例：有10个学生，其中5个男生，5个女生。取身高体重两个指标作为特征，有数据表 3.3 正态分布参数的最大似然估计（监督） 3.3 正态分布参数的最大似然估计（监督） 3.3 正态分布参数的最大似然估计（监督） 贝叶斯估计简介 非监督参数估计简介 非监督最大似然估计 需定义混合密度 正态分布下的非监督参数估计 混合高斯分布，利用EM（期望最大化）算法求解各密度分量参数。 3.4总体分布的非参数估计 问题的提出 参数估计：总体分布已知，参数为未知（监督、非监督） 非参数估计：总体分布未知，直接由样本估计总体分布 技术分类(依据体积的不同选取方法） 3.4总体分布的非参数估计 3.4总体分布的非参数估计—Parzen窗法 假定R为以x为中心的d维超立方体，棱长为h，则体积为 3.4总体分布的非参数估计—Parzen窗法 窗函数应满足的要求： 窗函数的选择： 除方窗外，还可选择正态窗、指数窗等 3.4总体分布的非参数估计—Parzen窗法 3.4总体分布的非参数估计—Parzen窗法 3.4总体分布的非参数估计—k近邻法 问题的提出 Parzen窗法中窗宽（或体积）的选择较为困难。 该式对初值 敏感，初值太小，大部分体积是空的，密度估计不稳定，初值太大，估计的密度较平坦，无法反映真实分布，为解决此问题，产生了k近邻法。 3.4总体分布的非参数估计—k近邻法 思想：x周围设一空胞，扩大至包含k个样本 3.4总体分布的非参数估计—k近邻法 k的选取 3.4总体分布的非参数估计—kN近邻法 3.4非参数估计举例—数字的Bayes分类 3.4非参数估计举例—数字的Bayes分类 计算先验概率 计算 ，再计算类条件概率密度 3.4非参数估计举例—数字的Bayes分类 样本X的类条件概率 利用Bayes公式求后验概率 3.4非参数估计举例—数字的Bayes分类 3.5分类器错误率的估计 3.5分类器错误率的估计 已设计好分类器（样本均为考试样本） 1、 未知——随机抽样 从总体随机抽取N个样本检验分类器，假定错分数为 ，则错误率估值为 3.5分类器错误率的估计 证明：每一样本有正确分类、错误分类两种情况，属于贝努利试验，N个样本为N重贝努利试验。设真实错分概率为 已给定，则 的分布服从二项分布。 3.5分类器错误率的估计 2、 已知——选择性抽取 3.5分类器错误率的估计 未设计好分类器的情况（样本即用于设计又用于检验） 3.5