[工学]特征的提取和选择.pdf

第六章 特征的选择与提取 P176 §6.1 基本概念 §6.2 类别可分离性判据 §6.3 按距离度量的特征提取方法 §6.4 按概率距离判据的特征提取方法 §6.5 基于熵函数的可分性判据 §6.6 基于K-L变换的特征提取 §6.7 特征提取方法小结 §6.8 特征选择 1 本章学习目的 1．了解特征空间选择在设计模式识别系统、解决模式识 别具体问题中是至关重要的。 2．了解特征（描述量）选择 ，特征组合优化的两种基本 方法，一是对原特征空间进行删选 ，另一种是通过变换改 造原特征空间 。 3．掌握典型的线性变换对原特征空间优化的基本方法， 进一步深入理解模式识别处理问题的基本方法——确定准 则函数 ，并通过计算进行优化。 4．了解并掌握特征选择方法使用的一些基本问题。 2 §6.1 基本概念 分类器设计方法的研究固然重要，但如何确定合适的特征 空间是设计模式识别系统另一个十分重要、甚至更为关键 的问题。 如果所选用的特征空间能使同类物体分布具有紧致性 ，即 各类样本分布在该特征空间中彼此分割开的区域内，这就 为分类器设计成功提供良好的基础。 反之，如果不同类别的样本在该特征空间中混杂在一起， 再好的设计方法也无法提高分类器的准确性。 本章内容属于如何构造一个特征空间 ，即对要识别的事物 用什么方法进行描述 、分析。 3 (1) 物理量的获取与转换 物理量的获取与转换，指用什么样的传感器获取电信号。 如摄取景物则要用摄像机； 文字与数字识别，首先要用扫描仪等设备，手写体文字所 用传感器与印刷体文字可能不同。 这些都属于物理量的获取，并且已转换成电信号，为计算 机分析打下了基础 对从传感器中得到的信号，可以称之为原始信息 ，因为它 要经过加工、处理才能得到对模式分类更加有用的信号。 4 (2) 描述事物方法的选择与设计 在得到了原始信息之后，要对它进一步加工， 以获取对分类最有效的信息。这部分信息必须 对原始信息进行加工，而设计所要信息的形式 是十分关键的。 例如对阿拉伯数字的识别可以提出各种不同的 想法，有的提出分析从框架的左边框到数字之 间的距离变化反映了不同数字的不同形状，这 可以用来作为数字分类的依据。 又有的方案则是强调分析不同截面的信号，如 在框架的若干部位沿不同方向截取截面分析从 背景到字，以及从字到背景转换的情况,如AB 截面切割字符三次，CD截面切割字符一次等。 5 (3) 特征空间的优化 这个层次的工作发生在已有了特征的描述方法之后，也 就是已有了一个初始的特征空间，如何对它进行改造与 优化的问题。 一般说来要对初始的特征空间进行优化是为了降维。即 初始的特征空间维数较高。能否改成一个维数较低的空 间 ，称为优化 ，优化后的特征空间应该更有利于后续的 分类计算。 所谓优化是要求既降低特征的维数，又能提高分类器的 性能 。 两种基本方法: 特征选择 (删掉部分特征) 特征的组合优化 (一种映射)，也就是说新的每一个特征 是原有特征的一个函数。 6 补充材料——广义线性判别函数 二次函数的一般形式：