模式识别第3章_概率密度函数的估计_参数估计.ppt

非监督参数估计 非监督参数估计 非监督 不同类别的样本有不同的概率密度函数 用每个类别自己的样本估计该类别的概率密度函数 每个样本属于那个类别是未知的 参数估计 概率密度函数的总体分布形式已知 某个或某些类别的参数未知 非监督参数估计 问题假设 样本来自类别数为c的各类中，但不知道每个样本究竟来自哪个类别 每类的先验概率P(wj ),j=1,…，c已知; 类条件概率密度的形式已知; 未知的仅是c个参数向量θ= θ1 ,θ 2…的值 非监督参数估计 例: 两类别正态分布情况下的非监督参数估计问题 已知: c=2 两个类别样本概率密度函数的形式是正态分布 即c1类的概率密度函数: 即c2类的概率密度函数: 非监督参数估计 例: 两类别正态分布情况下的非监督参数估计问题 已知: σ1和σ2已知 非监督参数估计问题: 利用训练样本估计μ1和μ2 。 难点:训练样本的类别未知 非监督参数估计 估计方法 最大似然估计 贝叶斯估计 贝叶斯学习 期望最大化（EM） 解决问题 带缺失数据或者隐藏参数的参数估计问题 基本思想 样本数据分为标记样本和未标记样本 按照统计的观点，对于每一个样本的产生，其背后都有一个模型，即样本生成模型。 样本生成模型的参数先由标记样本确定，再通过标记样本和利用当前模型判断标记的未标记样本共同调整。 期望最大化（EM） 算法步骤 初始参数估计，将未标记的样本按贝叶斯分类方法进行类标注。 反复迭代E步骤和M步骤，直到收敛。 E步骤：对于每个未标记的样本，按下式计算类标记的期望值。 M步骤：利用E步骤计算出的期望值，按下式用已标记样本和未标记样本重新估计新的分类器参数。 期望最大化（EM） 算法举例 最大似然估计 最大似然估计的基本思想 求θ i的最大似然估计就是把p(xi| θ i)看成θ i的似然函数，求出使它最大时的θ i值。 最大似然估计 最大似然估计的基本思想 ∵学习样本独立从总体样本集中抽取的 ∴ 取对数 ： N个学习样本出现概率的乘积 如何计算出使得似然函数l(θ)取值最大的θ的估计值？ 最大似然估计 最大似然估计的基本思想 对θi求导,并令它为0： 最大似然估计 最大似然估计的基本思想 前式的解不一定唯一, 只有取值最大的是最终的解。 最大似然估计 一维正态分布的参数估计 总体的分布形式: 有两个参数未知: μ和σ 最大似然估计 一维正态分布的参数估计 有N个观测样本X= (x1,x2,… xN)T 构造似然函数: 最大似然估计 一维正态分布的参数估计 最大似然估计量的方程为: 最大似然估计 一维正态分布的参数估计 最大似然估计量的方程为: 最大似然估计 一维正态分布的参数估计 最大似然估计量的方程为: 无偏估计 有偏估计 贝叶斯估计 问题假定： 待估参数θ是待估计的参数，是随机变量 θ的概率分布概率已知 学习样本x = (x1,x2,… xN)T ,独立同分布 根据学习样本估计参数θ 贝叶斯估计 贝叶斯决策 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 最小最大决策 贝叶斯估计 贝叶斯估计的基本思想 基于最小风险的贝叶斯决策 希望决策方法使得风险最小化 参数估计 希望θ的估计数值θ尽可能的准确 即: 希望风险最小化 需要构造一个衡量θ准确程度的函数 ^ ^ 贝叶斯估计 风险 损失函数: λ (θ, θ) 待估参数θ和学习样本x=(x1,x2,…xN)T是随机变量 则，风险R为: ^ 贝叶斯估计 风险 整理得 贝叶斯估计 贝叶斯估计 如果θ的估计值θ使得条件风险R(θ|x)最小，则称θ是关于θ的贝叶斯估计量 ^ ^ ^ 贝叶斯估计 平方误差损失函数时的估计算法 损失函数: λ (θ, θ)=(θ- θ)2 定理: 如果损失函数为二次函数，即λ (θ, θ)=(θ- θ)2，则θ的贝叶斯估计量θ是在给定x时θ的条件期望，即 ^ ^ ^ ^ ^ 贝叶斯估计 步骤 ① 确定θ的先验分布p(θ),。 ②用样本x=(x1, x2,…. xN)T求出样本的联合概率密度分布p(x| θ)，它是θ的函数。 ③利用贝叶斯公式,求θ的后验概率 ④利用定理求贝叶斯估计量 贝叶斯估计 一维正态分布的参数估计 总体的分布形式: μ未知，但概率分布已知 贝叶斯估计 一维正态分布的参数估计 计算联合概率密度分布p(X| μ) : 计算求μ的后验概率p(μ| X) : 贝叶斯估计 一维正态分布的参数估计 计算求μ的后验概率p(μ| X) : 贝叶斯估计 一维正态分布的参数估计 利用定理求贝叶斯估计量: 计算求μ的后验概率p(μ| X) : 贝叶斯估计 贝叶斯估计 贝叶斯学习 贝叶斯学习基本思想 已知: 样