第3章 概率密度函数的估计_参数估计精要.ppt

贝叶斯估计 贝叶斯估计的基本思想 基于最小风险的贝叶斯决策 希望决策方法使得风险最小化 参数估计 希望θ的估计数值θ尽可能的准确 即: 希望风险最小化 需要构造一个衡量θ准确程度的函数 ^ ^ 贝叶斯估计 风险 损失函数: λ (θ, θ) 待估参数θ和学习样本x=(x1,x2,…xN)T是随机变量 则，风险R为: ^ 贝叶斯估计 风险 整理得 贝叶斯估计 贝叶斯估计 如果θ的估计值θ使得条件风险R(θ|x)最小，则称θ是关于θ的贝叶斯估计量 ^ ^ ^ 贝叶斯估计 平方误差损失函数时的估计算法 损失函数: λ (θ, θ)=(θ- θ)2 定理: 如果损失函数为二次函数，即λ (θ, θ)=(θ- θ)2，则θ的贝叶斯估计量θ是在给定x时θ的条件期望，即 ^ ^ ^ ^ ^ 贝叶斯估计 步骤 ① 确定θ的先验分布p(θ),。 ②用样本x=(x1, x2,…. xN)T求出样本的联合概率密度分布p(x| θ)，它是θ的函数。 ③利用贝叶斯公式,求θ的后验概率 ④利用定理求贝叶斯估计量 贝叶斯估计 一维正态分布的参数估计 总体的分布形式: μ未知，但概率分布已知 贝叶斯估计 一维正态分布的参数估计 计算联合概率密度分布p(X| μ) : 计算求μ的后验概率p(μ| X) : 贝叶斯估计 一维正态分布的参数估计 计算求μ的后验概率p(μ| X) : 利用待定系数法，即可求得两个参数的值 贝叶斯估计 一维正态分布的参数估计 利用定理求贝叶斯估计量: 计算求μ的后验概率p(μ| X) : 贝叶斯估计 贝叶斯学习 参数估计存在的问题 最大似然估计存在的问题 贝叶斯估计的优点:避免过学习 观测 出现结果 U的最大似然估计 第1次观测 正面 1 第2次观测 背面 0.5 第3次观测 正面 0.67 第4次观测 正面 0.75 贝叶斯学习 贝叶斯学习基本思想 已知: 样本X=(x1, x2,…. xN)T 问题: 通过样本集推断总体分布p(x|X) 总体分布形式已知 问题转化为估计参数θ的估计问题，即: 然后再利用p(θ |X) 估计p(x|X) 贝叶斯学习 贝叶斯学习基本思想 根据独立性假设 贝叶斯学习 例:一维随机变量x服从均匀分布 θ未知，但分布概率已知 给出一组观测值X={4,7,2,8}，估计p(x|θ) 贝叶斯学习 最大似然估计方法？ 似然函数 θ的估计值 X的分布函数 贝叶斯学习的方法？ 一组观测值X={4,7,2,8} θ取多少，lnl(θ)最大？ θ最小能取多少？ 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果没有观测值(N=0) ， 则p(θ|X0)为: 如果观测到一个x数值， x 1=4,则p(θ|X1)为: N=1 贝叶斯学习 先观察随着N的增加，p(θ|X)的变化 如果观测到2个x数值， x 2=7,则p(θ|X2)为: N=2 模 式 识 别 第3章 概率密度函数的估计 为什么需要概率密度函数的估计 贝叶斯决策需要的已知信息 贝叶斯分类器中只要知道先验概率，条件概率P(ωi),P(x|ωi),就可以设计分类器了 存在问题: 未知概率密度函数 未知类条件概率密度 未知先验概率密度 有一些训练数据 需要研究的问题 研究如何用已知训练样本的信息去估计P(ωi),P(x|ωi) 分类器设计的步骤: 第一步: 利用样本集估计概率密度函数 第二步: 利用概率密度函数进行分类决策 学习 训练 分类 贝叶斯决策理论设计分类器步骤 概率密度函数估计中的三个问题 如何利用样本估计概率密度函数 估计量的性质如何 利用样本集估计错误率的方法 几种估计类型 概率密度函数的形式是否已知 参数估计 非参数估计 训练样本的类别是否已知 非监督参数估计 非参数估计 几种估计类型 参数估计与非参数估计 参数估计 已知研究的问题具有某种数学模型， 如正态分布，二项分布， 再用已知类别的学习 样本估计里面的参数。 非参数估计 未知数学模型，用已知类别的学习样本直接估计数学模型。 几种估计类型 监督学习与无监督学习 监督学习 在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。 无监督学习 不知道样本类别，只知道样本的某些信息去估计，如：聚类分析。 几种估计类型 监督参数估计 非监督参数估计 非参数估计 统计模式识别 句法模式识别 类条件概率函数P(x|ωi) 已知 未知 贝叶斯决策理论 监督学习 非监督学习 参数 非参数 参数 非参数 参数估计的基本概念 基本概念 统计量 参数空间 点估计 估计量 估计值 区间估计 给定样本集合:{x1, x2,……, xN} f(x1, x2,……, xN) 未知参数θ θ的容许值组成