贝叶斯决策理论.ppt

2.2.4极小化极大决策2.2几种常用的决策规则因此，极小化极大决策的任务就是寻找使贝叶斯风险为最大时的决策域R1和R2，它对应于积分方程的解。用极小化极大决策进行分类是偏于保守的分类方法。2.2.5序贯分类方法2.2几种常用的决策规则前面所讲方法中都认为d个特征都同时给出且不考虑获取特征所花的代价。有些实际问题(如医疗诊断)中特征的获取要花一定代价，这样除了错分会造成损失外还应考虑获取特征所花的代价。可能会有这样的情况，获取了k个特征(kd)后就做判决分类更为合理。解：已知条件为P(ω1)=0.9，P(ω2)=0.1，p(x|ω1)=0.2，p(x|ω2)=0.4，c=2，，，，。根据例2.1的计算结果可知后验概率为P(ω1|x)=0.818，P(ω2|x)=0.1822.2.2基于最小风险的贝叶斯决策再按下式计算出条件风险由于2.2.2基于最小风险的贝叶斯决策x∈ω2最小错误率和最小风险贝叶斯决策规则的关系。设损失函数为0－1损失函数i，j=1，2，…，c2.2.2基于最小风险的贝叶斯决策条件风险为表示对x采取决策ωi的条件错误概率2.2.2基于最小风险的贝叶斯决策的最小风险贝叶斯决策就等价于的最小错误率贝叶斯决策。由此可见，最小错误率贝叶斯决策就是在0－1损失函数条件下的最小风险贝叶斯决策。前者是后者的特例。在0—1损失函数时，使2.2.2基于最小风险的贝叶斯决策有大量的方式来表述最小风险决策规则，每种都有自己的优点。用后验概率的形式表述为，如果那么判决为ω1。2.2.2基于最小风险的贝叶斯决策两类分类问题的最小风险贝叶斯决策通常，一次错误判决所造成的损失比正确判决要大，且因子λ21-λ11和λ12-λ22都是正的。实践中，尽管必须通过损失函数的差别对后验概率作调整，但是判决通常是依据最可能的类别状态来决定的。利用贝叶斯公式，也可用先验概率和条件密度来表示后验概率，这种等价规则为：如果那么判决为ω1。2.2.2基于最小风险的贝叶斯决策两类分类问题的最小风险贝叶斯决策另一种表示方法是，在合理假设λ21λ11的条件下，如果下式成立，则判决为ω1。这种判决规则的形式主要依赖于x的概率密度。2.2.2基于最小风险的贝叶斯决策两类分类问题的最小风险贝叶斯决策2.2.2基于最小风险的贝叶斯决策2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策在两类别决策问题中，有犯两种错误分类的可能性：(1)在采取决策ω1时其实际自然状态为ω2；(2)在采取决策ω2时其实际自然状态为ω1，这两种错误的概率分别是P(ω2)·P2(e)和P(ω1)·P1(e)。最小错误率贝叶斯决策是使这两种错误率之和P(e)为最小。2.2几种常用的决策规则2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策由于先验概率P(ω1)和P(ω2)对具体问题来说往往是确定的，所以一般称P1(e)，P2(e)为两类错误率。实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能地小。2.2几种常用的决策规则2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策例如在癌细胞识别中，把异常误判为正常的损失更为严重，所以常希望这种误判的错误率P2(e)很小，即P2(e)=ε0，ε0是一个很小的常数，在这种条件下再要求P1(e)尽可能地小。这样的决策可看成是在P2(e)=ε0条件下，求P1(e)极小值的条件极值问题。2.2几种常用的决策规则2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策可以用求条件极值的拉格朗日(Lagrange)乘子法解决。拉格朗日乘子法是一种在等式约束条件下的优化算法。基本思想是将等式的约束问题转化为无约束问题。拉格朗日乘子法为：2.2几种常用的决策规则=02.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策按Lagrange乘子法建立数学模型为2.2几种常用的决策规则目的是求γ的极小值已知根据类条件概率密度的性质，有2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策则2.2几种常用的决策规则对x和求导得2.2.3在限定一类错误率条件下使另一类错误率为最小的两类别决策2.2几种常用的决策规则满足左式的最佳及满足右式的边界面就能使极小。此时其决策规则可以写为如果