模式识别-第4讲-概率密度函数的估计.ppt

似然函数l（theta）给出了从总体中抽出x1，x2，。。。，xN这样N个样本的概率 * 　　无偏估计是参数的样本估计值的期望值等于参数的真实值。 　　估计量的数学期望等于被估计参数，则称此为无偏估计。 　　设A=g(X1,X2,...,Xn)是未知参数A的一个点估计量，若A满足 　　E(A）= A 　　则称A为A的无偏估计量，否则为有偏估计量。 * 样本集K={x1,x2,…,xN}求出mu和sigma^2的最大似然估计 均值估计是无偏的，协方差矩阵估计（1）是有偏的。 协方差矩阵（2）的估计是无偏的。 理学院，计算机学院，专升本第5次课结束！ * 期望：反映均值 方差：随机变量与期望的偏离程度 * * * 专升本，计算机，理学院第6次课结束！ * Bayes估计的基本思想：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ，可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差，即 结论: 的贝叶斯估计量 是在给定H时 的条件期望。 由于 是关于 的二次函数， 确使 或 最 小。上式表明， 的Bayes估计是在观测 条件下 的 的条件期望。 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） （2） Bayes学习(直接推断总体分布密度 ) Bayes学习与Bayes估计的前提条件是相同的，Bayes学习不是进行概率的参数估计，而是进行总体概率的推断以获得 ，因此，它们具有某些相同的计算内容，也有不同的计算目标。它们的前三步都是相同的，只是最后一步有所不同，Bayes学习最后一步为 在 已知的条件下, H 对 已不具有什么信息 下面我们看一下最大似然估计与Bayes解的关系。 最大似然估计近似等于Bayes解（条件是 在 有尖锐的凸峰） 单变量正态分布函数的定义及性质 单变量正态分布概函数 ，有两个参数 和 完全决定，常简记为 。 期望 方差 正态分布的监督参数估计示例 （1）Bayes估计示例 Bayes估计是把参数 看成为随机的未知参数，一般 具有先验分布 。样本通过似然函数 并利用Bayes公式将 的先验分布 转化为后验分布。 现以单变量正态分布为例，并假定总体方差 已知，估计的参数为均值 。总体分布密度和参数的先验分布 …………………形式已知 ………………………………先验分布已知 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 现（1）（2）已完成，下面主要进行（3）（4），这里 。 （2）Bayes学习示例 Bayes学习是是利用 的先验分布及样本提供的信息求出 的后验分布 ，然后直接求总体分布 本次课结束！ 谢谢大家！ 3.2.2 贝叶斯估计-最大后验概率 用一组样本集K={x1, x2 ,…, xN}估计未知参数θ 未知参数θ视为随机变量，先验分布为 p(θ)，而在已知样本集K出现的条件下的后验概率为：p(θ|K) 最大后验概率估计-Maximum a posteriori (MAP) 贝叶斯估计-最小风险 参数估计的条件风险：给定x条件下，估计量的期望损失: 参数估计的风险：估计量的条件风险的期望 贝叶斯估计：使风险最小的估计 贝叶斯估计 损失函数：误差平方 定理 3.1: 如果定义损失函数为误差平方函数，则有： 贝叶斯估计的步骤 确定θ的先验分布 p(θ) 由样本集K={x1, x2 ,…, xN}求出样本联合分布：p(K|θ) 计算θ的后验分布: 4. 计算贝叶斯估计: 一元正态分布例解 总体分布密度为： 均值μ未知，μ的先验分布为： 用贝叶斯估计方法求μ的估计量 样本集： K={x1, x2 ,…, xN} 一元正态分布例解 计算μ的后验分布： 计算μ的贝叶