模式识别二次线性分类错误率.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 反之，若p1 (x)和p2 (x)近似重叠，则期望值将较大，－ln将较小。即Bhattacharyya距离小。如下图： * 偏离度和B距离是真的距离度量吗？ 偏离度和Bhattacharyya距离都满足： 在一对一的线性变换下不变； 当x的分量独立时，这两个量都满足相加性（对每个成分）。 * 令 表示偏离度或Bhattacharyya距离，有： 但它们都不满足距离的三角不等式，所以都不是真实的距离。但它们满足下面的性质： * 对于高斯分布的数据，可以推导出它的偏离度的封闭形式解。 高斯分布下的偏离度和Bhattacharyya距离 而 * 由于 而且由 有 * 和 ∴ * 同样，有： ∴ 这就是高斯分布的偏离度。 * 对于高斯分布的Bhattacharyya距离，有相似的推导。 * 其中的指数项可以化为： 可以化为 * 其中 * ∴ * 可以证明 （※） 以及 （※※） * 证明的思路和技巧：定义量 先证明 由此再证： 以及 * 由上面各种关系证明（※）和（※※）。 ∴ 这是对于高斯分布的Bhattacharyya距离。 * 由上式的B和前面的 可以看出，当两类的协方差矩阵相等时，K1= K2= K， ∴ 此时的D 和B 是等价的度量，而且和两类均值间的马氏距离等价。说明D 和B 确是两类间偏离和距离的一种度量。 * 上一小节定义了偏离度和Bhattacharyya距离。下面分析它们和错误率的关系。 这一节讨论似然比检验的错误率的上界。它们是基于Bhattacharyya距离及其推广。 四. 错误率的Bhattacharyya和Chernoff界 最小错误率的上界 最小错误率（有时也叫贝叶斯错误率）eB 为： * 利用不等式 上式可以化为： 即 这个结果称为Bhattacharyya界。 * 若利用不等式 和前面的推导一样，可得更一般的Chernoff界： 式中 对于高斯密度函数，可以解出上面的积分，得 * 比较一下B 和 ，有 即当 时 Chernoff界就变为Bhattacharyya界。 * 使用Chernoff界的优点是： 它可以求出错误率的紧上界(求适当的s），此时s一般不等于 。 利用 可以估计各个类的错误率 和 ，以及使用任何阈值T的似然比检验的错误率。 * 下面我们分析Chernoff界的另一种推导方法。 * * 2.一般似然比检验的Chernoff界 考虑一般的对数似然比检验： 而 * 或 现定义一组（族）新的密度函数： * 由于 的积分等于 ，所以 也是密度函数，其积分等于1。 下面分析错误率 ： 由于 ，是实数，函数 是 的单调减函数。 ∴ 在积分区域内，有 ∴ * ∵上式的积分小于1 ∴ 用同样的方法可以建立 的界 另外的方法是利用下面等价的对数似然比检验 * 并定义量 上面 和 的界也称为Chernoff界。 用和上面同样的推导序列，有 令 ，而且由于 ，可得 * 使等式成立的s0即为要找的s0。 前节所建立的总错误率 也可以利用本节的结果来得到。 和 的紧上界可以由选择s以使e的指数项最小来实现。这时对 和 都有： * 而∵ ∴ 上式右端为 这时，∵ * 使 和 得到紧上界的s0同样使Pr[e]有紧上界。 一般在许多情况，上界在s0处有较平的特性。常选 以避免解最优化问题。 * * * * * 即滤波器的输出是相关值，而滤波器的脉冲响应是gk(t)，匹配滤波器可由专门的仪器来作。 * 可以把上面的线性分类器的讨论再进一步。在线性分类器 中，如果把向量在K的特征向量的坐标系下表示（作变换），并作比例变换使所有分量的方差变为1，这时，线性分类器将作mkTx相关运算。在通信问题中，如果噪声信号是相关的，而且方差是变化的，那么最优的信号检测是使噪声变为不相关的，然后作相关或匹配滤波器运算。 * 三. Fisher线性分类器— 另一种决策准则（另外一种解决