模式识别二次线性分类错误率.ppt

*这两个量比起偏离度来，直观上更难解释。但若将写为：我们可以给出Bhattacharyya距离的一种解释，如下图：第61页,共91页，星期六，2024年，5月*第62页,共91页，星期六，2024年，5月*若原来的两个密度函数分的较开，则f相对于ω2的期望将较小（1）。这时的－ln值将会大，Bhattacharyya距离将会大。第63页,共91页，星期六，2024年，5月*反之，若p1(x)和p2(x)近似重叠，则期望值将较大，－ln将较小。即Bhattacharyya距离小。如下图：第64页,共91页，星期六，2024年，5月*偏离度和B距离是真的距离度量吗？偏离度和Bhattacharyya距离都满足：在一对一的线性变换下不变；当x的分量独立时，这两个量都满足相加性（对每个成分）。第65页,共91页，星期六，2024年，5月*令表示偏离度或Bhattacharyya距离，有：但它们都不满足距离的三角不等式，所以都不是真实的距离。但它们满足下面的性质：第66页,共91页，星期六，2024年，5月*对于高斯分布的数据，可以推导出它的偏离度的封闭形式解。高斯分布下的偏离度和Bhattacharyya距离而第67页,共91页，星期六，2024年，5月*由于而且由有第68页,共91页，星期六，2024年，5月*和∴第69页,共91页，星期六，2024年，5月*同样，有：∴这就是高斯分布的偏离度。第70页,共91页，星期六，2024年，5月*对于高斯分布的Bhattacharyya距离，有相似的推导。第71页,共91页，星期六，2024年，5月*其中的指数项可以化为：可以化为第72页,共91页，星期六，2024年，5月*其中第73页,共91页，星期六，2024年，5月*∴第74页,共91页，星期六，2024年，5月*可以证明（※）以及（※※）第75页,共91页，星期六，2024年，5月*证明的思路和技巧：定义量先证明由此再证：以及第76页,共91页，星期六，2024年，5月*由上面各种关系证明（※）和（※※）。∴这是对于高斯分布的Bhattacharyya距离。第77页,共91页，星期六，2024年，5月*由上式的B和前面的可以看出，当两类的协方差矩阵相等时，K1=K2=K，∴此时的D和B是等价的度量，而且和两类均值间的马氏距离等价。说明D和B确是两类间偏离和距离的一种度量。第78页,共91页，星期六，2024年，5月*上一小节定义了偏离度和Bhattacharyya距离。下面分析它们和错误率的关系。这一节讨论似然比检验的错误率的上界。它们是基于Bhattacharyya距离及其推广。四.错误率的Bhattacharyya和Chernoff界最小错误率的上界最小错误率（有时也叫贝叶斯错误率）eB为：第79页,共91页，星期六，2024年，5月*利用不等式上式可以化为：即这个结果称为Bhattacharyya界。第80页,共91页，星期六，2024年，5月*若利用不等式和前面的推导一样，可得更一般的Chernoff界：式中对于高斯密度函数，可以解出上面的积分，得第81页,共91页，星期六，2024年，5月*比较一下B和，有即当时Chernoff界就变为Bhattacharyya界。第82页,共91页，星期六，2024年，5月*使用Chernoff界的优点是：它可以求出错误率的紧上界(求适当的s），此时s一般不等于。利用可以估计各个类的错误率和，以及使用任何阈值T的似然比检验的错误率。*下面我们分析Chernoff界的另一种推导方法。第83页,共91页，星期六，2024年，5月**2.一般似然比检验的Chernoff界考虑一般的对数似然比检验：而第84页,共91页，星期六，2024年，5月*或现定义一组（族）新的密度函数：第85页,共91页，星期六，2024年，5月*由于的积分等于，所以也是密度函数，其积分等于1。下面分析错误率：由于，是实数，函数是的单调减函数。∴在积分区域内，有∴第86页,共91页，星期六，2024年，5月*∵上式的积分小于