第七章特征提取与选择国家级精品课程讲义详解演示文稿.pptVIP

我们知道，在贝叶斯判决中，似然比l12=p(x|?1)/ p(x|?2)是分类识别的一个重要度量，对于给定的门限P(?2)/P(?1) ， l12越大，对?1来讲可分性越好。实际上，此比值也反映出p(x|?1)和p(x|?2)的重迭程度，由此可构造出可分性判据。为使概密完全重迭时判据为零，应对上述比值取对数。考虑到全域，以分布密度作为“和”的权值，可以构造出下面的判据。 上式被积函数中两概密的差和两概密的比能反映出两类概密的重迭程度，同时被积函数中两因式永远同号，故其乘积非负，从数学构造上看也是有道理的。 我们知道，在贝叶斯判决中，似然比l12=p(x|?1)/ p(x|?2)是分类识别的一个重要度量，对于给定的门限P(?2)/P(?1) ， l12越大，对?1来讲可分性越好。实际上，此比值也反映出p(x|?1)和p(x|?2)的重迭程度，由此可构造出可分性判据。为使概密完全重迭时判据为零，应对上述比值取对数。考虑到全域，以分布密度作为“和”的权值，可以构造出下面的判据。 上式被积函数中两概密的差和两概密的比能反映出两类概密的重迭程度，同时被积函数中两因式永远同号，故其乘积非负，从数学构造上看也是有道理的。 我们知道，在贝叶斯判决中，似然比l12=p(x|?1)/ p(x|?2)是分类识别的一个重要度量，对于给定的门限P(?2)/P(?1) ， l12越大，对?1来讲可分性越好。实际上，此比值也反映出p(x|?1)和p(x|?2)的重迭程度，由此可构造出可分性判据。为使概密完全重迭时判据为零，应对上述比值取对数。考虑到全域，以分布密度作为“和”的权值，可以构造出下面的判据。 上式被积函数中两概密的差和两概密的比能反映出两类概密的重迭程度，同时被积函数中两因式永远同号，故其乘积非负，从数学构造上看也是有道理的。 (三)剔减特征法 7.7.1 次优有哪些信誉好的足球投注网站法 则在这轮中x1应该剔除。 这里初值 ，过程直到k=n-d为止。 * 第九十四页，共一百零七页。 7.7.1 次优有哪些信誉好的足球投注网站法 (四) 增l 减r 法（l-r 法） 为了克服前面方法 ( 二 ) 、 ( 三 ) 中的一旦某特征 选入或剔除就不能再剔除或选入的缺点，可在选择 过程中加入局部回溯，例如在第 k 步可先用方法 ( 二 ) ，对已选入的 k 个特征再一个个地加入新的特征 到 k l + 个特征，然后用方法 ( 三 ) 一个个地剔除 r 个特 征，称这种方法为增 l 减 r 法 ( l r - 法 ) 。 * 第九十五页，共一百零七页。 7.7.2 最优有哪些信誉好的足球投注网站法 (一)分支定界法(BAB算法) 寻求全局最优的特征选择的有哪些信誉好的足球投注网站过程可用一个树结构来描述，称其为有哪些信誉好的足球投注网站树或解树。 总的有哪些信誉好的足球投注网站方案是沿着树自上而下、从右至左进行，由于树的每个节点代表一种特征组合，于是所有可能的组合都可以被考虑。 利用可分性判据的单调性采用分支定界策略和值左小右大的树结构，使得在实际上并不计算某些特征组合而又不影响全局寻优。这种具有上述特点的快速有哪些信誉好的足球投注网站方法，称为分支定界算法。 * 第九十六页，共一百零七页。 6选2的特征选择问题 (a)有哪些信誉好的足球投注网站树 (b)有哪些信誉好的足球投注网站回溯示意图 7.7.2 最优有哪些信誉好的足球投注网站法 BAB算法 s=0 s=1 s=2 s=3 s=4 * 第九十七页，共一百零七页。 树的每个节点表示一种特征组合，树的每一级各节点表示从其父节点的特征组合中再去掉一个特征后的特征组合，其标号k表示去掉的特征是xk 。 7.7.2 最优有哪些信誉好的足球投注网站法 BAB算法 由于每一级只舍弃一个特征，因此整个有哪些信誉好的足球投注网站树除根节点的0级外，还需要n-d 级，即全树有n-d 级。在6个特征中选2个，故整个有哪些信誉好的足球投注网站树需要4级，第n-d 级是叶节点，有个叶节点 。 * 第九十八页，共一百零七页。 BAB算法 7.7.2 最优有哪些信誉好的足球投注网站法 表示特征数目为l 的特征集合。 表示舍弃s 个特征后余下的特征集合。 表示当前节点的子节点数。 表示集合中元素的数目。 表示第s 级当前节点上用来作为下一级可舍弃特征的特征集合。 * 第九十九页，共一百零七页。 由于从根节点要经历n-d级才能到达叶节点，s级某节点后继的每一个子节点分别舍弃 中互不相同的一个特征，从而考虑在s+1级可以舍弃的特征方案数(即其子节点数)qs时，必须使这一级舍弃了特征 后还剩(n-d)-(s+1)个特征。除了从树的纵的方向上一级丢弃一个特征，实际上从树的横的方向上，一个分支也轮换丢弃一个特征。因此后继子节点数 。 BAB算法 7.7.2 最优有哪些信誉好的足球投注网站法 * 第一百页，共一百零七页。 BAB算法 7.7.2 最优有哪些信誉好的足球投注网站法 s