03第三章 非参数判别分类方法31-32.ppt

第三章 非参数判别分类方法 非参数判别分类方法是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。 通过本章学习掌握模式识别中最重要的非参数判别分类法的原理。 §3.1 引言 按贝叶斯决策理论设计分类器的步骤 非参数判别分类方法的两个过程 线性判别函数的一般形式 向量W的意义 向量W的意义 广义线性判别函数 1. Fisher准则函数 样本在d维X空间的一些描述量 样本在一维Y空间的一些描述量 Fisher准则的函数形式 2. 最佳W值的确定 最佳法线向量 3. 判别函数的确定 *中国矿业大学 计算机科学与技术学院 第三章 非参数判别分类方法 学习指南 非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。 本章最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最核心的内容。 学习这一章要进一步体会模式识别中确定准则函数并实现优化的计算框架。 由于决策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此确定分界面方程包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。 数学是模式识别中不可缺少的工具，希望大家学习时，遇到的数学方面的内容要通过再学习、复习等进一步掌握，如线性代数、矩阵的特征值分解与特征向量等概念的运用上起到很重要的作用。通过这门课学习，加深对这些数学工具的理解与运用熟练程度是会终身受益的。对于数学推导理解程度的要求，对增强同学分析问题解决问题的能力有好处。 学习目的 掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用的机器学习这个词已涉及更为广泛的内容。 学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模式识别、人工神经元网络以及统计学习理论。 用近邻法进行分类。 通过相应数学工具的运用进一步提高运用数学的本领。 本章重点 1、非参数判别分类器的基本原理，与参数判别分类方法的比较。 2、线性分类器的三种典型方法——以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法，以及支持向量机代表的统计学习理论。 3、近邻法的工作原理及其改进。 4、线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法。 1、Fisher准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深理解。 2、感知器准则函数提出利用错误提供信息实现叠代修正的学习原理。 3、支持向量机方法设计约束条件为不等式的极值优化问题。 本章难点 4、三种不同典型方法的优缺点比较。 5、近邻法的改进。 1、机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成分? 2、机器学习过程中有教师吗？谁是教师？ 3、什么叫线性分类器？按照基于最小错误率贝叶斯决策，什么条件下才能用线性分类器？ 课前思考题 非参数判别分类方法设计分类器的步骤 设计者确定使用什么典型的分类决策方法 利用训练样本集提供的信息确定这些函数中的参数 3.1.1 线性判别函数的基本概念 其中w 0是个常数，称为阈值权，x是维特征向量，w称为权向量，分别表示为： 在线性判别函数条件下它对应d维空间的一个超平面。 相应的决策规则 决策面方程 假设在该决策平面上有两个特征向量X1与X2 ，则应有 上式表明向量W与该平面上任两点组成的向量(X1-X2)正交，因此W就是该超平面的法线向量。 w0则体现该决策面在特征空间中的位置，当 时，该决策面过特征空间坐标系原点，而 时， 则表示了坐标原点到该决策面的距离。 3.1.2 广义线性判别函数 线性判别函数是形式最为简单的判别函数，但是它不能用于稍复杂一些的情况，例如，欲设计这样一个一维样本的分类器，使其性能为： 相应的决策规则为： 设计一判别函数: 基本思想：g(X)不再是x的线性函数，而是一个二次函数，此时通过选择一种映射X→Y，即将原样本特征向量X映射成另一向量Y，从而把二次函数转换成线性函数。 则判别函数g(x)又可表示成： 如果采用映射X→Y，使 g(x)为广义线性判别函数，a称为广义权向量。 其中 写成另一种形式 Y为增广样本向量，a为增广权向量。 例：一个一维特征空间的分类器 其决策面方程为： 在一维空间中为一个点，经齐次简化后可得： 思考 如果在两维空间存在一条不过原点的直线 采用