贝叶斯决策理论教程.ppt

正态分布概率密度函数 在整个定义域上积分为1 服从正态分布的样本聚集在均值附近，其散布程度与标准差（方差）有关 多元正态分布 均值向量 协方差矩阵 多元正态分布的概率密度函数定义 协方差矩阵的计算 计算公式 ，计算协方差矩阵。 已知 协方差矩阵的性质 对称非负定阵 元素正负？ 元素含义：对角线和非对角线 协方差：用来度量变量之间“协同变异”大小的总体参数，即二者相互影响大小的参数；绝对值越大，相互影响越大 对角阵情形；去相关 多元正态分布的性质 均值向量和协方差矩阵共同决定分布 均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，常表示为 多元正态分布的性质 等密度点的轨迹是超椭球面 多元正态分布的性质 马氏距离： 到 的Mahalanobis距离 等密度点轨迹是到均值向量的马氏距离为常数的超椭球面 样本离散度由 决定；同单变量正态分布类似，方差影响样本分布的疏密程度 椭圆主轴的确定 为简单处理，将椭球中心移至原点来求椭球长短轴 设 在超椭球上， 到超椭球中心的距离为 ，求主轴长度即是求其条件极值，构造Lagrange函数 对 的椭圆 第 i 个主轴的长度与Σ的第 i 个特征值的平方根成正比，方向由对应特征向量的方向决定 多元正态分布的性质 不相关性等价于独立性 边缘分布和条件分布的正态性 线形变换的正态不变性 通过变换，能使本来相关的随机变量在新的坐标系中独立；便于处理 多元正态分布的性质 多元正态分布的性质 线形组合的正态不变性 线性变换的特例 2.3.2 多元正态下的最小错误率决策 下面根据上式对以下三种情况进行讨论。 …………………决策面方程 （1） ，即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差 Ⅰ 如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加 进行修正。 Ⅱ 如果先验概率相等 称其为最小距离分类器。 可看作线性分类器 对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系（不相等的情况请参照教材P32） （2） ，即各类的协方差矩阵都相等 如果先验概率相等， 只要计算 到各类的均值点 的马氏距离平方，然后把 归于 距离平方最小的类别。 对以上两类情况进行化简 决策面方程 只要协方差矩阵相等，先验概率相等，就对应最小距离分类器，包括欧式距离和马氏距离 对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系 （2）各类的协方差矩阵不相等 二维模式，?1??2的几种情况 R1 R2 (a) 圆，?2类的方差小 R1 R2 (b) 椭圆， ?2类的方差小 R1 R2 (c) 抛物线， ?2类的方差小 R1 R2 (d) 双曲线 (e) 直线，两类的分布关于一直线是对称 R1 R2 例：模式分布如图所示，两类均值向量和协方差矩阵 可用下式估计。 (0,1,1) (1,1,1) (1,0,0) (1,0,1) (0,0,1) (0,0,0) ??1 ??2 x2 x1 x3 ?2 ?1 两类均作为正态分布，并假设先验概率相等，求 故判别函数和决策面。 (0,1,1) (1,1,1) (1,0,0) (1,0,1) (0,0,1) (0,0,0) ??1 ??2 x2 x1 x3 ?2 ?1 两类均作为正态分布，并假设 ， 故判别函数为 对两类问题 最小风险贝叶斯决策示例 最小风险贝叶斯决策示例 上一节的例子 检验呈阳性者患病概率是0.323 若按最小错误率决策：正常ω2 采用最小风险决策，需要用到损失函数 损失的评估是个关键问题 宁可虚惊一百 不可漏诊一人 最小风险贝叶斯决策的讨论 除了知道最小错误贝叶斯决策也需要的先验概率和类条件概率外，损失函数的确定往往也是一个难题 与最小错误贝叶斯决策的关系 差别在于是否考虑风险，即错误损失 最小风险决策可看作加权形式的最小错误决策，加权值即损失函数取特定形式时二者可能等价，如损失函数取0-1形式 定义损失函数 2.2.3 限定一类错误率，使另一类错误率最小 条件极值问题 利用拉格朗日乘子法将条件极值转化为无条件极值 条件极值问题 似然比——决策规则比较 最终结果的似然比表示形式 最小错误率Bayes决策的表示形式 最小风险Bayes决策的表示形式 似然的含义 似然——likelihood 表明在其他条件都相等的情况下，使得 较大的 更有可能是真实的类别 2.2.