模式识别-第10讲-特征的选择与提取2教材课程.ppt

模式识别 ;第10讲 特征的选择与提取(2);本节课主要内容;§3 特征选择; 特征选择的任务是从一组数量为D的特征中选择出 数量为d（Dd）的一组最优特征来.;本节主要讨论第二个问题，简单介绍几种优化算法.;1. 最优有哪些信誉好的足球投注网站算法;分支定界法的有哪些信誉好的足球投注网站树示意图(D=6，d=2);2. 次优有哪些信誉好的足球投注网站法;（2）顺序前进法（SFS）;（3）顺序后退法（SBS）;比方说，在第k步可先用SFS法一个个加入特征到 k+l 个，然后再用SBS法一个个剔去 r 个特征，我们把这样一种算法叫增 l 减 r 法（l–r 法） ;3. 可分性判据的递推计算;我们注意到在进行特征选择时需要以可分性判据来度量特征选择的好坏.特征选择是一个组合优化问题,因此可以使用解决优化问题的方法来解决特征选择问题.;来源于统计力学。材料粒子从高温开始，非常缓慢地降温(退火)，粒子就可在每个温度下达到热平衡。假设材料在状态i的能量为 E(i)，那么材料在温度 T时???状态i进入状态j遵循如下规律;1) 模拟退火算法;首先给定初始温度T0和初始解 x(0)，以概率P生成下一个新解x’;1) 模拟退火算法: 步骤;该算法受进化论启迪，根据“物竞天择，适者生存”这一规则演变.;交叉：选择群体中的两个个体，以这两个个体为双亲作基因链码的交叉，从而产生两个新的个体，作为后代。;Step1: 令进化代数t=0。 Step2: 给出初始化群体P(t)，令xg为任一个体。 Step3: 对P(t)中每个个体估值，并将群体中最优解x’ 与xg比较，如果x’的性能优于xg，则xg=x’ Step4: 如果终止条件满足，则算法结束，xg为算法的 结果。否则继续。 Step5: 从P(t)中选择个体并进行交叉和变异操作，得 到新一代群体P(t+1)。令t=t+1,转到Step3。;关于遗传算法的说明： ??由步骤3保证了最终解是所有哪些信誉好的足球投注网站过的最优解 ??常用的终止条件是群体的世代数超过一个给定值，或连续数个世代都没有得到更优解 ??群体的大小和演化代数是值得重视的参数。在一定范围内，这两个参数大些能得到更好的解 ??对交叉的亲本选择可采用如下规则：个体的性能越好，被选中的可能性也越大;3) Tabu有哪些信誉好的足球投注网站算法;本节课结束 谢谢大家！;经过有限次转换，在温度Ti下的平衡态xi的分布为; 模式识别 ;第9讲 特征的选择与提取(1);本节课主要内容; 特征提取与选择的基本任务是研究如何从众多特征中求出那些对分类识别最有效的特征，从而实现特征空间维数的压缩,即获取一组“少而精”且分类错误概率小的分类待征.;x1 x2 x3 . . xd;特征选择： 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。; 有时特征提取和选择并不是截然分开的。例如，可以先将原始特征空间映射到维数较低的空间，在这个空间中再进行选择以进一步降低维数；也可以先经过选择去掉那些明显没有分类信息的特征，再进行映射以降低维数。;细胞自动识别： 原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，核浆比 压缩特征：原始特征的维数仍很高，需压缩以便于分类（2种方式） 1. 特征提取：用映射（或称变换）的方法把原始特征变换为较少的新特征 2. 特征选择：从原始特征中去挑选出一些最有代表性的特征 ;特征的选择与提取举例2;特征的选择与提取举例;特征的选择与提取举例;特征的选择与提取举例;特征的选择与提取举例;§1 类别可分离性判据;1.准则函数;类别可分离性判据;（3）具有“距离”的某些特性，即 （4）对特征数目是单调不减，即加入新的特征后，判据值不减。 这里指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。 下面对几种常用的判据进行讨论。;2. 类内类间距离;2. 类内类间距离;2. 类内类间距离;C 类特征向量之间的平均距离为：;2. 类内类间距离;1) 基于类内类间距离的可分离性判据是一种常用的判据，它实际上是各类向量之间的平均距离。 2) 具体而言，即 J(x) 表示各类特征向量之间的平均距离，我们通常认为 J(x) 越大，可分离性越好。 3) 这种判据优点是计算简单；缺点是当类间距离较小，类内距离较大时，判据仍有可能取得较大的值，而此时的可分离性并不大。;3.基于概率分布的可分性判据;如图所示，图1表示两类为完全可分的情况，而图2则表示两类完全不可分的。;(1) Bhattacharyya距离;定义散度等于各类平均可分信息之和：