概率统计基础ppt.pdf

概率统计基础 ———最大似然估计、MAP和贝叶斯估计 前言 贝叶斯公式( 当类别只有两类时) 贝叶斯公式可用非正式的英语表示成 贝叶斯公式表明，通过观测 的值我们可将先验 概率 转换为后验概率 即假设特征值 已知的条件下类别属于 的概率。 我们称 为 关于 的似然函数，或简称为 “似然(likelihood)”。注意到后验概率主要是由 先验概率和似然函数的乘积所决定的，证据 (evidence) 因子 可仅仅看成是一个 标量因子。 模式分类的途径 在设计分类器时中，我们通过类条件概 率密度 和先验概率 ，利用贝叶 斯规则来计算后验概率 ，然后通过 最大后验概率来做出决策。 不幸的是：在多数情况下，类条件概率 和先验概率是不知道的。 这样我们就需要寻找某种有效的方法，能用现 有的信息设计出正确的分类器。 而我们可以利用的信息有： ●有关模式识别问题的一些模糊而笼统的信息 ●一些设计样本(训练样本) ，这些样本是待分 类的模式的一个特定的子集 我们的解决办法是利用这些训练样本来估计 问题中所涉及的先验概率和条件概率密度函数。 并把这些估计的结果当作实际的先验概率和条 件概率函数，然后再设计分类器。 在典型的有监督模式识别问题中，估计先验概 率通常是没有太大的困难。最大的困难在于估 计类条件概率密度。 但是，如果我们事先已经知道参数的个数，并 且先验知识允许我们能够把类条件概率密度进 行参数化，那么问题的难度就可以显著的降低。 我们的要做的就是：假设类条件概率密度为某 种含参数的概率密度分布函数，通过训练数据 来估计该函数中的未知参数 然后，参数估计后的概率密度函数作为类条件 概率密度，利用贝叶斯决策进行分类。 例如：我们可以正确的假设 是一个多元 正态分布，其均值为 ，协方差矩阵为 (这两 个参数的具体值是未知的) 。这样，我们就把 问题从估计完全未知的概率密度 转化为 估计参数 和 。 中的所有未知参数可以写成向量的形式， 称为参数向量 ，含有未知参数的概率密度函 数 可以表示为 。 参数估计方法 ●最大似然估计(Maximum Likelihood) ●假设： 将待估计的参数看作确定的量，只是值未知 ●估计方式： 将使得产生训练样本的概率的最大参数值作为这些 参数的最佳估计 ●贝叶斯估计( 贝叶斯学习) ●假设 将待估计的参数看作符合某种先验概率分布的随机变 量 ●估计方式 通过观察样本，将先验概率密度通过贝叶斯规则转 化为后验概率密度 最大似然估计的思想 为了叙述最大似然原理的直观想法，先看一个例子 例 假设有外形完全相同的两个箱子，甲箱中有99个白球和1个 黑球，乙箱中有99个黑球和1个白球，今随机地抽取一箱，并 从中随机抽取一球，结果取得白球，问这球是从哪一个箱子中 取出？ 析：不管是哪一个箱子，从箱子中任取一球都有两个可能的 结果：A 表示取出白球，B表示取出黑球。如果我们取出的是 甲箱，则A 发生的概率为0.99 ，而如果取出的是乙箱，则A 发 生的概率为0.01 。现在一次试验中结果A 发生了，人们的第一 印象就是：“此白球(A)最像从甲箱取出的”，或者说，应该 认为试验条件对结果A 出现有利，从而可以推断这球是从甲箱 中取出的。这个推断很符合人们的经验事实，这里“最像” 就是“最大似然”之意。 最大似然估计的基本思想：最大似然估计是利用总 体 的概率密度或概