模式识别与人工智能.pptxVIP

PatternRecognitionartificialIntelligenceLecture2:特征选择与提取〔一〕

主要内容1.引言2类别可别离性判据3特征选择4.特征提取

1.引言

对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间。降维主要有两种途径。一种是删选掉一些次要的特征，问题在于如何确定特征的重要性，以及如何删选。另一种方法是使用变换的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维，这两种方法的区分要弄清楚。【问题的提出】

1．什么叫特征空间？如果我们用颜色、尺寸、重量来衡量水果的构造的特特空间是几维空间？2．如果用颜色、尺寸与重量组成的特征空间来区分苹果与梨，这三种度量中的哪种最有效？为什么？能否想像这两种水果在这个三维空间的分布？如果用这个特征空间来区分红苹果与樱桃，你想像一下这两类水果在特征空间如何分布？能否对这两种情况设计更经济有效的特征空间？【问题的提出】

3．如果两类物体在一个二维特征空间如图分布,能否用删除其中任一维来优化特征空间？有没有什么方法能得到一个对分类很有利的一维特征空间？【问题的提出】

4．上题的答案可用右图Y1与Y2组成的空间表示。你认为哪个分量可以删掉？5．将原在X1、X2空间表示的数改成用Y1、Y2空间表示？【问题的提出】

1．描述事物方法的选择与设计方案1.从框架的左边框到数字之间的距离变化反映了不同数字的不同形状，这可以用来作为数字分类的依据。方案2.强调分析不同截面的信号，如在框架的若干部位沿不同方向截取截面分析从背景到字，以及从字到背景转换的情况,如AB截面切割字符三次，CD截面切割字符一次等。【问题的提出】

2．特征空间的优化这个层次的工作发生在已有了特征的描述方法之后，也就是已有了一个初始的特征空间，如何对它进行改造与优化的问题。一般说来要对初始的特征空间进行优化是为了降维。即初始的特征空间维数较高。能否改成一个维数较低的空间，称为优化，优化后的特征空间应该更有利于后续的分类计算例用RGB颜色空间和HSI颜色空间【问题的提出】

【问题的提出】

【问题的提出】

【概念】

【概念】

【概念】

2类别可别离性判据

【概念】特征选择与提取的任务是找出一组对分类最有效的特征，因此需一准那么。概念：数学上定义的用以衡量特征对分类的效果的准那么实际问题中需根据实际情况人为确定。误识率判据：理论上的目标，实际采用困难〔密度未知，形式复杂，样本不充分，…〕可分性判据：实用的可计算的判据

【概念】(1)与误判概率(或误分概率的上界、下界)有单调关系。(2)当特征相互独立时，判据有可加性，即：式中，是对不同种类特征的测量值，表示使用括号中特征时第i类与第j类可分性判据函数。类可分别判断函数

【概念】(3)判据具有“距离”的某些特性，即：，当时；，当时；(4)对特征数目是单调不减，即参加新的特征后，判据值不减。类可分别判断函数

【概念】19值得注意的是：上述的构造可分性判据的要求，即“单调性”、“叠加性”、“距离性”、“单调不减性”。在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。类可分别判断函数

类可分别判断依据的常用方法：基于几何距离的可分性判据基于概率密度的可分性判据基于熵的类可分性判据

基于几何距离的类可别离判据一般来讲，不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。显然，区域重叠的局部越小或完全没有重叠，类别的可分性就越好。因此可以用距离或离差测度〔散度〕来构造类别的可分性判据。

基于几何距离的类可别离判据(一)点与点的距离(二)点到点集的距离用均方欧氏距离表示

基于几何距离的类可别离判据(三)类内及总体的均值矢量各类模式的总体均值矢量类的均值矢量：为相应类的先验概率，当用统计量代替先验概率时，总体均值矢量可表示为：

基于几何距离的类可别离判据(四)类内距离类内均方欧氏距离类内均方距离也可定义为：

基于几何距离的类可别离判据(五)类内离差矩阵显然(六)两类之间的距离

基于几何距离的类可别离判据(七)各类模式之间的总的均方距离当取欧氏距离时，总的均方距离为

基于几何距离的类可别离判据(八)多类情况下总的类内、类间及总体离差矩阵类内离差类间离差总体离差易导出各模式之间总的均方距离

基于几何距离的类可别离判据

基于几何距离的类可别离判据在特征空间中，当类内模式较密聚，而不同类的模式相距较远时，从直觉上我们知道分类就较容易，由各判据的构造可知，这种情况下所算得的判据值也较大。由判据的构造我们还可以初步了解运用这类判据的原那么和