贝叶斯决策论讲义.pptxVIP

Chapter2

BayesianDecisionTheory–贝叶斯决策论;要点：;在不知道更多信息的情况下，每次出现鲈鱼的先验概率为，而鲑鱼的先验概率为，其中

先验概率反映了在鱼没有出现之前，我们拥有可能出现鱼的类别的先验知识。;利用类条件概率密度:及

描述了两种鱼类外观上光泽度的差异。

其中，x为光泽度指标。

类条件概率密度为类别状态为ω时的x的概率密度函数

;注:假定的类条件概率密度函数图,显示了模式处于类别时观察某

个特定特征值x的概率密度.如果x代表了鱼的长度,那么这两条曲线可

描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1;贝叶斯公式:

处于类别并具有特征值x的模式的联合概率密度可写成两种形式：;在先验概率及图2-1给出的后验概率图.此情况下,假定一

个模式具有特征值,那么它属于类的概率约为0.08,属于的概率

约为0.92.在每个x处的后验概率之和为1.0;基于后验概率的决策准则

(x表示观察值)

若类别判定

若类别判定

决策后所导致的错误率

若判定

若判定;最小化错误概率条件下的贝叶斯决策规则

为了追求最小的错误率，采取如下判定准则：

若,则判定类别为;

反之，判为。

可以证明,依从这样的准则可以获得最小错误率：

我们称该准则为“贝叶斯决策准则”。;根据贝叶斯公式，由于p(x)为标量，则可以采用等价判定准则：

若,则判定类别为;

反之，判为。

;2.2贝叶斯决策论-连续性特征;;为了最小化总风险，对所有计算条件风险;两类分类问题;决策;决策;;当损失函数简化到所谓的“对称损失”或“0-1损失”

函数;对于,若,则判定类别为;

反之，判为。;2.3.1极小极大化准则（先验概率未知情形）;结合公式与;2.3.2Neyman-Pearson准则;2.4分类器与判别函数;上图为包含d个输入c个判别函数的系统。确定哪个判别函数值

最大，并相应地对输入作分类。;不同情况下的分类器的表示方式;尽管判别函数可写成各种不同的形式，但是判决规则是相同的。

每种判决规则都是将特征空间划分c个判决区域，

如果对于所有的，有那么x属于。要求我

们将x分给。此区域由判决边界来分割，其判决边界即判决

空间中使判决函数值最大的曲面。如图

;在这个二维的两类问题的分类器中，概率密度为高斯分布。判别边界由两个双曲面构成，因此判决区域R2并非是简单连通的。椭圆轮廓线标记出1/e乘以概率密度的峰值。;则如果，则将x判给，否则给。;2.5正态密度;单变量正态分布大约有95%的区域在范围内，如图

此分布的峰值为;正态分布与熵之间的关系;多元密度函数;协方差矩阵通常是对称的且半正定。我们将严格限定

是正定的。对角线元素是相应的方差;非对角线元素是和的协方差。如果和统计独立，则。如果所有的非

对角线元素为0，那么p(x