特征选择_免费下载.ppt

特征选择 从候选特征集中选出或提取与任务最相关的特征集 特征选择的基本框架 特征选择的两大种类 特征提取（Feature Extraction）：选出的特征集不要求是原特征集的子集，新特征一般是原特征集的组合或变换。如主成分分析，核主成分分析，线性判别分析等。面向有监督和无监督学习问题。 特征选择（ Feature Selection）：选出的特征集必须是原特征集的子集。如SVM-RFE，等。主要面向有监督学习问题。 特征提取—主成分分析（数据集不需类标记） 特征提取—线性判别分析（数据集需有类标记） 特征提取的优缺点 优点 可得到小特征集，乃至只有一个特征的特征集 不需类标记的特征提取方法的时间代价小 缺点 新特征的解释能力差 特征选择 n个特征里可能的特征子集个数 特征选择方法的分类—从子集评价有无与分类算法绑定的角度 过滤法(Filter)：特征选择过程独立于分类算法。优点—速度快，鲁棒性强。缺点—选出特征子集的分类性能一般弱于封装法 封装法(Wrapper)：特征选择过程与分类算法绑定。优点—选出特征子集的分类性能一般较小，且好于过滤法。缺点—速度慢，鲁棒性不如过滤法。 子集评价指标 总体而言，应根据具体问题进行设计 结构风险最小化原则仍适用 经验风险和置信风险 特征子集的大小 特征的独立性 SVM-RFE Feature ranking with correlation coefficients SVM Recursive Feature Elimination (SVM RFE) Data sets Experimental results Ranking criteria SNR(i) = (mi(+) – mi(-)) / (si(+)+ si(-)) (Golub , 1999) mi(+):mean of class (+) mi(-):mean of class (-) si(+):standard deviation of class (+) si(-):standard deviation of class (-) Ranking criteria (Golub , 1999) equal number of genes in +, - class (Furey, 2000) absolute value of wi (Pavlidis, 2000) (mi(+) – mi(-)) / (si(+) + si(-) ) similar to Fisher’s discriminant criterion SVM-RFE: wi (wi-分类超平面法向向量中对应于第i个特征的分量） SVM-RFE 1) Train a SVM classifier with Linear kernel function. 2) Compute the ranking criterion wi for all features. 3) Remove the feature with smallest ranking criterion. 4) IF stop criterion is satisfied, stop; otherwise go to 1). Data sets Leukemia 7129×72 Colon 2000×62 Data sets For example: Experimental results Leukemia (SVM-RFE) Experimental results Colon (SVM-RFE) RFE的拓展 非线性可分时的SVM-RFE？ 半监督时的SVM-RFE？ 监督学习时的RF-RFE 半监督学习时的RF-RFE？ RFE的优缺点 优点：稳健，选出的特征子集分类性能较好 缺点：耗时（要获得一个小的特征子集要进行很多迭代） Recursive Feature Selection（RFS） RFE的反面：递归特征选择（ Recursive Feature Selection,RFS ），即每次选择“与已选特征子集组合时能达到最优评价指标” 的特征 SVM-RFS 1) 设原始特征集为S,初始化选出的 特征子集为空集,即R=[]. 2) 从S中选出一个特征r，使得R+{r} 获得最优的子集评价指数 3) 令R =R+{r}, S= S－{r}. 4) 如停止准则满足,则算法停止; 否则, 转2）. SV