fisher判别概要.ppt

计算机工程与科学学院 Shanghai University 上海大学 计算机工程与科学学院 Shanghai University 上海大学 模式识别 线性分类器 上海大学计算机工程与科学学院 信息处理与多媒体研究所 Ronald Aylmer Fisher (1890～1962) 英国统计学家和遗传学家。1890年 2月17日生于伦敦,1962年7月29日卒于澳大利亚阿德莱德。1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。1943年任剑桥大学遗传学教授。1957年退休。1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。 主要贡献有： ① 用亲属间的相关说明了连续变异的性状可以用孟德尔定律来解释，从而解决了遗传学中孟德尔学派和生物统计学派的论争。 ② 论证了方差分析的原理和方法，并应用于试验设计，阐明了最大似然性方法及随机化、重复性和统计控制的理论，指出自由度作为检查K.皮尔逊制定的统计表格的重要性。此外，还阐明了各种相关系数的抽样分布，进行过显著性测验研究。 ③ 他提出的一些数学原理和方法对人类遗传学、进化论和数量遗传学的基本概念以及农业、医学方面的试验均有很大影响。例如遗传力的概念就是在他提出的可将性状分解为加性效应、非加性（显性）效应和环境效应的理论基础上建立起来的。 ④ 主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。他在进化遗传学上是一个极端的选择论者，认为中立性状很难存在。 他一生在统计生物学中的功绩是十分突出的。  主要内容 线性判别函数 基本概念 几何意义 广义线性判别函数 设计线性分类器的主要步骤 Fisher线性判别 问题的提出 算法的实现 Fisher线性判别实验 引言 训练样本集 各类别在特征空间的分布表示成先验概率、类条件概率密度分布函数 决策规则、判别函数、决策面方程 选择最佳准则函数 最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。 需要首先得到有关样本总体分布的知识，包括各类先验概率P(ωi)及类条件概率密度P(X|ωi) ，从而可以计算出样本的后验概率P(ωi|X)，并以此作为产生判别函数的必要数据，设计出相应的判别函数与决策面。 获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。 贝叶斯决策理论 引言 非参数判别方法： 训练样本集 选择最佳准则 这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此称为非参数判别分类方法。而以贝叶斯决策方法为基础的方法则称为参数判别方法。 Bayes决策尽管是最优决策，但实现困难。 模式识别的任务是分类，可直接设计判别函数 — 即分类面。 最简单的判别函数是线性函数，相应的分类面是超平面。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。 结论: 决策规则：判别函数决策面方程 不需要有关的概率密度函数的确切的参数形式 非参数判别分类方法的基本原理——有监督学习方法 线性分类器 Fisher准则线性分类器 感知准则函数线性分类器 svm 非线性分类器的扩展—分段线性 多层感知器 特征映射方式实现线性分类器 近邻法 改进的近邻法 引言 设样本d维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成 其中 w0是一个常数，称为阈值权。 g(x)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面。 线性判别函数的基本概念 相应的决策规则可表示成 至于w0则体现该决策面在特征空间中的位置，当w0=0时，该决策面过特征空间坐标系原点，而 时，则 表示了坐标原点到该决策面的距离。 为了说明向量w的意义，我们假设在该决策平面上有两个特征向量x1与x2，则应有 其中(x1-x2)也是一个向量 而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该决策平面将这两类样本按其到该面距离的正负号确定其类别。 上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因此w就是该超平面的法向量。这就是向量w的几何意义。 线性判别函数的基本概念 令 决策面(decision boundary)H方程：g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量 线性判别函数的几何意义 线性判别函数的几何意义 令 总