[数学]第四章 描述量选择及特征的组合优化.doc

第四章 描述量选择及特征的组合优化 学习指南　　这一章要讨论的问题与前几章有所不同。前两章主要讨论模式识别的重要概念，如贝叶斯分类器、线性分类器与非线性分类器等。在讨论这些设计分类器的方法时，提到有一个样本集，样本集中的样本用一个已经确定的向量来描述，这也就是说对要分类的样本怎样描述这个问题是已经确定的。例如对苹果与梨的划分，我们使用尺寸、重量和颜色三种度量来描述。这种度量方法是已经确定好的。在这种条件下研究用线性分类器好还是非线性分类器好，以及这些分类器的其它设计问题。 这一章要讨论的问题是对已有的特征空间进行改造,着重于研究对样本究竟用什么样的度量方法更好。譬如上面提到的对苹果与梨用三种度量来描述。那么是否运用这三种度量是最有效的呢？譬如颜色这一个指标对区分红香蕉苹果与梨很有效。因为前者是红色，后者是黄色，用这个指标上的差异很容易将红香蕉苹果与梨区分开。但是如用颜色区分黄香蕉苹果与梨恐怕就会困难得多。换句话说在这种情况下，这个指标就不很有效了。可见对分类器设计来说，使用什么样的特征描述事物，也就是说使用什么样的特征空间是个很重要的问题。这个问题称之为描述量的选择问题，意思是指保留哪些描述量，删除哪些描述量的问题。但对特征进行删选并不是唯一的方法，这种方法也不一定很有效，因此本章还要研究其它方面，由于对特征空间进行改造目的在于提高其某方面的性能，因此又称特征的优化问题。　　对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间，降维主要有两种途径。一种是删选掉一些次要的特征，问题在于如何确定特征的重要性，以及如何删选。另一种方法是使用变换的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维，这两种方法的区分要弄清楚。学习目的　　1．了解特征空间的选择在设计模式识别系统，解决模式识别具体问题中是至关重要的。　　2．了解描述量选择，特征组合优化的两种基本方法，一是对原特征空间进行删选，另一种是通过变换改造原特征空间。　　3．典型的运用线性变换对原特征空间优化的基本方法，进一步深入理解模式识别处理问题的基本方法——确定准则函数，并通过计算进行优化。　　4．使用特征选择方法的基本问题。 本章重点　　1．弄清对特征空间进行优化的含义　　2．对特征空间进行优化的两种基本方法——特征选择与特征的组合优化　　3．对特征空间进行优化的一些常用判据　　4．利用线段变换进行特征空间优化的基本方法，4.3节了解一些基本概念就可。4.6节是中的K-L变换要重点掌握。 知识点 课前思考题　　1．什么叫特征空间？如果我们用颜色、尺寸、重量来衡量水果的构造的特特空间是几维空间？　　2．如果用颜色、尺寸与重量组成的特征空间来区分苹果与梨，你认为这三种度量中的哪种最有效？为什么？能否想像这两种水果在这个三维空间的分布？如果用这个特征空间来区分红苹果与樱桃，你想像一下这两类水果在特征空间如何分布？能否对这两种情况设计更经济有效的特征空间？　　3．如果两类物体在一个二维特征空间如图分布,能否用删除其中任一维来优化特征空间？有没有什么方法能得到一个对分类很有利的一维特征空间？ 　　4．上题的答案可用下图Y1与Y2组成的空间表示？你认为哪个分量可以删掉？ 　　5．你有没有办法将原在X1、X2空间表示的数改成用Y1、Y2空间表示？ §4.1 基本概念　　在第二、三章所讨论的分类方法与分类器设计中，都是在d维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使用什么方法,将已确定的d维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。这一章要讨论的问题就是特征空间如何设计的问题。　　这一章的内容属于如何构造一个特征空间，即对要识别的事物用什么方法进行描述、分析的问题。对一个具体问题来说，有以下几个不同的层次：　　1．物理量的获取与转换，这是指用什么样的传感器获取电信号，如摄取景物则要用摄像机。文字与数字识别首先要用扫描仪等设备。手写体文字所用传感器与印刷体文字也很可能不同。这些都属于物理量的获取，并且已转换成电信号，为计算机分析打下了基础。对从传感器中得到的信号，可以称之为原始信息，因为它要经过加工、处理才能得到对模式分类更加有用的信号。　　2．描述事物方法的选择与设计。在得到了原始信息之后，要对它进一步加工，以获取对分类最有效的信息。这部分信息必须对原始信息进行加