ch_.~.概率密度函数的监督参数估计法.ppt

3.2 概率密度函数的参数估计 均值矢量和协方差阵的矩法估计 极大似然估计 (MLE) Bayes估计 (BE) Bayes学习 问题的产生 利用Bayes决策规则进行分类器设计时,所需的概率密度函数 未知,导致: 基于两步的Bayes决策 步骤一:采集各类别的样本集,用以估计各类别的 步骤二:将 代入Bayes决策规则设计分类器 一．参数估计与非参数估计 参数估计：先假定待估计的密度函数具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计概率密度函数里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计概率密度函数的数学模型。 二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。 无监督学习：不知样本类别，只知道样本的某些信息去估计，如：聚类分析。 参数估计的基本概念 ①参数？有两种理解。狭义的理解，参数是指描述某一随机变量分布的概率函数中的一个或若干个数值，这些数值决定了该随机变量的分布特征。如正态分布有两个参数 和 ， 表示正态分布随机变量所有可能值的中心位置， 表示该随机变量取值的离散程度。广义的理解，参数是指描述总体特征的一个或若干个数值，例如总体的均值、总体的比例和总体的方差等数字特征，两个或两个以上总体间的相关系数、偏相关系数、复相关系数和回归系数等数字特征。本章所涉及的参数估计问题，主要指狭义的参数。参数估计的目的就是利用抽样得到的样本信息来估计未知的总体参数。 参数估计的基本概念 ②估计量和估计值? 估计量是指用来估计总体未知参数的统计量，估计值是指估计总体未知参数的某一估计量，代入样本值计算得到的具体结果。 参数估计的基本概念 ③点估计和区间估计? 点估计是指根据抽取到的具体样本数据，代入估计量得到的一个估计值。区间估计是在点估计的基础上估计出总体参数一个可能的范围，同时还给出总体参数以多大的概率落在这个范围之内。 估计量评价的标准 ①无偏性:是指估计量的数学期望等于总体参数的真值。 估计量评价的标准 ②有效性:是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。离散程度是用方差度量的，因此在无偏估计量中，方差愈小愈有效。 估计量评价的标准 ③一致性: 一致性，又称相合性，是指随着样本容量的增大，估计量愈来愈接近总体参数的真值。 二 、极大似然估计法(MLE)Maximum Likelihood Estimate 二 、极大似然估计法(MLE)Maximum Likelihood Estimate 前提假设: 参数θ是确定的未知量 样本集中的样本从概率密度函数为 的总体中独立抽取 各类别问题单独处理.即:独立地按各类的总体概率密度函数 抽取样本集 , 用 去估计各自的参数θ 极大似然估计法解题步骤 已知：某一类的样本集 　　　　　　　是从总体分布为 的类别中独立抽取的 构造似然函数: 令: 有时上式是多解的, 上图有5个解,只有一个解最大即. 3.3.2 Bayes估计(BE) 小结：Bayes估计(最小风险) 前提假设: 参数θ是随机的未知量 θ的先验分布密度函数P(θ)已知 损失函数为二次函数 最小二次损失下的Bayes估计(BE)步骤 Bayes学习 贝叶斯学习的概念：求出θ的后验概率之后，直接去推导总体分布即 References Zheng Rong Yang “Mutual Information Theory for Adaptive Mixture Models” IEEE trans. MAAI vol 23 No.4 pp396-403 APRIL 2001 附录I 统计数据的数字特征 统计数据的位置特征：对一组统计数据集中趋势和平均水平的度量（数值平均数和位置平均数） 统计数据的散布特征：对一组数据变异程度和离散趋势的度量，它反映了各数据值远离其中心位置的程度，通常称散布特征的度量为标志变异指标（全距、平均差、方差、标准差和变异系数） 统计数据的形态特征：对一组统计数据分布的对称（或偏斜）程度和陡峭程度的度量（偏度和峰度） （一）位置特征 统计数据的位置特征是对一组统计数据集中趋势和平均水平的度量，通常将位置特征的度量称为平均指标。 常用来表述统计数据位置特征的平均指标有两类：数值平均数和位置平均数。 数值平均数主要有算数平均数、调和平均数和几何平均数。位置平均数主要有中位数和众数。 分析、研究一组统计数据的集中趋