模式识别--第六章-特征提取与选择.pptVIP

第六章特征提取与选择

nFeatureextraction

nFeatureselection

1

第六章特征提取与选择

6.1概述

2

第六章特征提取与选择6.1概述

模式识别的三大核心问题:

•特征数据采集

•分类识别

•特征提取与选择

分类识别的正确率取决于对象的表示、训练学

习和分类识别算法，我们在前面各章的介绍中详细

讨论了后两方面的内容。本章介绍的特征提取与选

择问题则是对象表示的一个关键问题。

3

第六章特征提取与选择6.1概述

通常在得到实际对象的若干具体特征之

后，再由这些原始特征产生出对分类识别最

有效、数目最少的特征，这就是特征提取与

选择的任务。从本质上讲，我们的目的是使

在最小维数特征空间中保留最大的分类信息。

4

6.1概述特征提取与选择的两个基本途

径

（1）直接选择法：当实际用于分类识别的特征数目d

确定后，直接从已获得的n个原始特征中选出d

个特征，使可分性判据J的值满足下

x1,x2,,xd

式：

Jx1,x2,,xdmaxJxi1,xi2,,xid

式中iiid是n个原始特征中的任意d个特征，

上式表示直接寻找n维特征空间中的d维子空间。

主要方法有：分支定界法、用回归建模技术确定相

关特征等方法。

5

6.1概述特征提取与选择的两个基本途

径

（2）变换法，在使判据J取最大的目标下，对n

个原始特征进行变换降维，即对原n维特征空间

进行坐标变换，然后再取子空间。

主要方法有：基于可分性判据的特征选择、基于

误判概率的特征选择、离散K-L变换法(DKLT)、

基于决策界的特征选择等方法。

6

第六章特征提取与选择

6.2类别可分性判据

7

6.2类别可分性判据构造可分性判据

为确立特征提取和选择的准则：引入类别可分性

判据，来刻划特征对分类的贡献。为此希望所构造

的可分性判据满足下列要求：

(1)与误判概率(或误分概率的上界、下界)有单调关系。

(2)当特征相互独立时，判据有可加性，即：

式中，是对不同种类特征的测量值，

x1,x2,,xdJij()

表示使用括号中特征时第i类与第j类可分性判据函数。

8

6.2类别可分性判据构造可分性判据

(3)判据具有“距离”的某些特性，即：

，当时；

Jij0ij

时；

Jij0，当ij

JijJji

(4)对特征数目是单调不减，即加入新的特征后，

判据值不减。

Jij(x1,x2,,xd)Jij(x1,x2,,xd,xd1)

9

6.2类别可分性判据构造可分性判据

值得注意的是：上述的构造可分性判据的要求，即

“单调性”、“叠加性”、“距离性”、“单调不

减性”。在实际应用并不一定能同时具备，但并不

影响