模式识别课件2.3 正态分布时的统计决策.ppt

Bhattacharyya界 (1) 其中通过式(75)可得高斯分布的情况如下： 2.4 关于分类器的错误率问题 (77) 如果分布并非高斯的，Chernoff和Bhatacharyya界仍然可用，但是，对于偏离高斯分布太远的分布，这些上界并不能说明什么问题。 　 说　明 Bayes决策所需的条件是最多的，必须知道各类先验概率和观测量的类条件概率密度。 实际工作中，在决策之前必须解决概率密度的估计问题。 2.4 关于分类器的错误率问题 * “最小距离分类器”如果每一个均值向量被看成是其所属模式类的一个理想原型或模板，那么这本质上是一个模板匹配技术。 * 式(71)中的两个积分分别代表函数p(x|ω1)P(ω1)尾部的粉红和灰色区域，因为判决点x’是任意选取的，所以误差概率并没有最小化。特别的，如果判决边界移到xB，那么标有“可去误差”的三角区域可以去掉。 * * * * * * * * * 式(71)的一般结果既不取决于特征空间如何被划分为判决区域，也不取决于内在的分布形式，贝叶斯分类器通过选择对所有x使被积函数最大的区域来最大化这个概率；没有其他的分类方法可以产生更小的误差概率。 ㈢第三类情况—∑i≠∑j 各类的协方差阵不相等 (d×d矩阵) (d维列向量) 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 判别函数gi(x)表示为x的二次型。 若决策域Ri与Rj相邻，则决策面应满足 gi(x)－gj(x)=0 即 xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0 由上式所决定的决策面为超二次曲面，随着∑i，μi，P(ωi)的不同而呈现为某种超二次曲面，即超球面、超椭球面、超抛物面、超双曲面或超平面。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 在一维情况下，对于存在任意协方差的情况，判别区域也可以不连通。如图所示。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。甚至还有退化为直线的判别边界。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 4个正态分布的判决区域。尽管对于类别数如此少的情况，其判别区域的形状也是相当复杂的。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 如果分布更加复杂，则判别区域将更加复杂，尽管基本理论是一致的。 例： 如图所示模式，试求判别函数。其中μi和∑i分别用 x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω2 ∈ω1 估计。Ni表示ωi类的样本数，xij表示第i类中的第j个样本。 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 解： 由图知： X1={(101)T，(000)T，(100)T，(110)T}， X2={(001)T，(011)T，(111)T，(010)T} x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω2 ∈ω1 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 解： 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 解： 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 ∴存在 解： 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 由于两类的协方差矩阵相等，使用方程 i =1，2，……，c 所以lnP(ωi)可略去，将x = (x1，x2，x3)T、μi、代入上式 因为 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 2.3.2多元正态概型下的最小错误率贝叶斯判别函数和决策面 x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω1 ∈ω2 判别面方程为 2x1－2