04 hh贝叶斯决策理论.ppt

⒉决策面方程 各决策域Ri被决策面所分割，这些决策面是特征空间中的超曲面，相邻的两个决策域在决策面上其判别函数值是相等的，如图2-5所示。如果Ri和Rj是相邻的，则分割它们的决策面方程应满足 gi(x)= gj(x) 2.2.6 分类器、判别函数及判定面 ㈠多类情况 图2.5 (a)一维情况决策面为分界点 p(x|ω1)P(ω1) p(x|ω2)P(ω2) p(x|ω3)P(ω3) x R1 R3 R2 R3 决策边界 2.2.6 分类器、判别函数及判定面 ⒉决策面方程 ㈠多类情况 2.2.6 分类器、判别函数及判定面 ⒉决策面方程 ㈠多类情况 图2-6在这个二维的两类问题的分类器中，概率密度为高斯分布，判决边界由两个 双曲线构成，因此判决区域R2并非是简单 的连通的。椭圆轮廓线标记出1/e乘以概 率密度的峰值 ⒊分类器设计 分类器可看成是由硬件或软件组成的一个“机器”。 它的功能是先计算出c个判别函数gi，再从中选出对应于判别函数为最大值的类作为决策结果，下图用框图形式表示了这种分类器。 很多由软件组成的分类器已经模块化。 2.2.6 分类器、判别函数及判定面 ㈠多类情况 2.2.6 分类器、判别函数及判定面 ⒊分类器设计 ㈠多类情况 分类器的网络结构 ㈡两类问题 ⒈判别函数 在两类情况下。仅定义一个判别函数 g(x)=g1(x)－g2(x) 并将决策规则表示为 如果 g(x)0，则决策ω1；g(x)0，则决策ω2。显然，可定义出如下的判别函数： ⑴ g(x)=P(ω1|x)－P(ω2|x) ⑵ g(x)=p(x|ω1 )P(ω1)－p(x|ω2)P(ω2) ⑶ 2.2.6 分类器、判别函数及判定面 ⒉决策面方程 决策面方程 g(x)=0 相应于前面 (2)的决策面方程为 p(x|ω1)P(ω1)－p(x|ω2 )P(ω2)=0 其它可类似得出。 2.2.6 分类器、判别函数及判定面 ㈡两类问题 ⒊分类器设计 两类分类器可看作只是计算判别函数g(x)的一个机器。它根据计算结果的符号将x分类，其结构框图如2.7所示。 判别计算 阈值单元 g x1 x2 xd + 1 ω1 －1 ω2 决策 图 2.7 +1 -1 2.2.6 分类器、判别函数及判定面 ㈡两类问题 例2.3 对例2.1，2.2分别写出其判别函数和决策面方程。 解: ⑴对例2.1利用前面式中的(2) g(x)=p(x|ω1 )P(ω1)－p(x|ω2)P(ω2) 其对应的判别函数为 g(x)=0.9p(x|ω1 )－0.1p(x|ω2 ) 决策面方程为g(x)=0即 9p(x|ω1)－p(x|ω2)=0 2.2.6 分类器、判别函数及判定面 ⑵对例2.2，判别函数可定义为 故其判别函数为 而 g(x)=0.9p(x|ω1)－0.6p(x|ω2 ) 决策面方程为g(x)=0即 9p(x|ω1)－6p(x|ω2 )=0 2.2.6 分类器、判别函数及判定面 练习题 答案 练习 P 134 书中的例子，变换参数取值后，重新计算最小风险决策 * 图2-3图2-1所示的分布的似然比p(x|ω1)/p(x|ω2)。如果引入一个0-1损失或分类损失，那么判决边界将由阈值θω决定;而如果损失函数对将模式ω2判为ω1的惩罚大于反过来的情况(即λ21 λ12)。将得到较大的阈值θb，使得R1变小 * 其中R1是类别ω1的决策域，R2是类别ω2的决策域，而R1+R2=R，R为整个特征空间，即决策是把整个特征空间分割成不相交的二个区域R1和R2，若被识别样本x落入到R1则就判定为属于ω1类，反之则属于ω2类。 * * * 其中R1是类别ω1的决策域，R2是类别ω2的决策域，而R1+R2=R，R为整个特征空间，即决策是把整个特征空间分割成不相交的二个区域R1和R2，若被识别样本x落入到R1则就判定为属于ω1类，反之则属于ω2类。 * * 2.2.2基于最小风险的贝叶斯决策 x: feature vector (d×1) x = [x1，x2，…，xd]T 状态空间states (classes) Ω由c个自然状态(c类)组成。 Ω={ω1，ω2，…ωc} actions (allows possibility of rejection) A ={ ， ，… } loss for taking action i for state j 2.2 几种常用的决策规则 2.2.2基于最小风险的贝叶斯决策 根据贝叶斯公式，后验概率为 其中 2.2.2基于最小风险的贝叶斯决策 对于给定的x如果采取决策 ，从决策表可见，对应于决策 ， 可以在c