从神经网络到支撑矢量机.pdfVIP

从神经网络到支撑矢量机 罗公亮 【墙叠真硇化爵兜t北窜100071) ■耍麓计捶新从20世圮60年代以来所囊■的一墨一麦t性t果晕鼙理代t计掌习理论——Vc理 电帕t立，进一理电不但誓在严格皓敦拳基■上■薯人工神盎一培辱基于扁生式方挂的学习机中存在的理论 同鼍，i且鲁出了翟计一种新的擘习机一支挥矢量托(S州)的熏t方佳．SVM巳量在一盛宴髂伺一中垂舟了 t功的应用，性奠优于恃辘构神竖一簟方拄．奉支主翼以羹式识一闩■为膏量+舟膏Vc理论的主要内寡置主掉 失量帆方挂． 差t■神经罔培 支捧矢量帆 基甘扭听 璜知性学习 ^工神经同络的研究，在BP(误整反向传播)算法提出来之后获得了迅速的发展，并在 一些实际工程项目中得到成功的应甩．这项技术是受到对人(与动物)神经细胞结构与功能 研究的启发而建立起来的．因此其先天缺乏坚实的理论基础，在实际应用中提出的许多重要 设计问题，由于没有严格理论依据做出准确的回答．只他依年经验和技巧去解头． 人工神经网络比较成功的应用是解决模式识别问题和任意非线性函敷的回归估计问 题．这两个弼题事实上也是统计推断(StatistI∞l1nfeRnce)的研究范畴，在统计学研究中称 为瑗知性学习(PMdictiveLeaming)问题，即根据观测数据(训练样本)推断一个未知系统的 输人一输出依麓关系．这个问题有极大的理论意义和实践意义，但由于系统的未知性和观测 数据的有限性，也是一个十分困赡柏问题．统计推断的研究可以上溺到200多年前的高斯与 拉普拉斯，然而直蓟20世纪20年代在这方面才真正开始有系统的研究．这种研究从一开始 就明显地分为两个不同的方向．第一十方向以Fbher提出的基于参数估计的推断模型为代 表，称为特殊的(参数)统计推断．其日标是建立一种简化的能够解决实际问题的统计推断方 法，其计算复杂性与当时计算机发展的承平相适应．第二个方向是以Glifenl【o、CantelII、 K01mogomv等人的工作为代表．称为一般的(非参敦)统计推断，其目标是寻找一种普适的， 即能够解决任意统计推断问题的归纳方法．z0世纪30～60年代是参数统计推断的黄金时 代，它是当时居主泷地位的方法．也几乎是唯一被公认和接受的理论，这种状况使第二个方 向瓣工作没有得到广泛的关注．参数统计推断方法在这一时期获得了充分的发展，形式上日 臻完美，亦获得了一些成功的应用．20世圮60年代以后，由于计算机速度和性能的提高，人 们希望用该方法能有效地解决高维敷的复杂同题，这时却遇到了随着参数数目的增加．对计 算资源的需求呈指教上升所引起的组台爆炸问题．在这种背景下，首先是在模式识别顿域展 开了对非参数学习算法的研究，由此导致了感知机和BP神经闷培的出现。人工神经网络研 究的热瑚使人们再一次忽视了统计学习理论的进展． 事实上，前苏联科学家针对普适的非参数统计推断问g，在统计学习理论上取得了扎实 稳健的进展．早在z0世纪z0年代，GIireⅡk0和CantelIi证明了经验分布函数收敛于实际分 布函鼓．KoImogrov证明了选种收敛速率很快(指数级)，并与未知的分布函敦无关．20世纪 一1一 建立，这就是且前目际文献上所称的VC理论．这一理论不仅柏回答人工神经网络中提出的 一系列理论性问题，而且构造出了能克服人工神经网络局限性的新的预知性学习算法，其中 支掉矢量机(SVM)方法已获得成功的应用．VC理论在90年代受到国际主漉学术界的重 视，认为它有可能成为将包括人工神经网络在内的硬知性学习方法统一在一个理论框架内 的理论基础，其对实践的指导意义迁不只是SVM一种方法．率文将主要以模式识别问题为 背景，介绍VC一理论的主要结果厦支撑矢量机(SVM阉培)方法． 1统计模式识别概念与方法的回顾 设f=(II，士：1．…·，‘)∈n，cR‘为n堆失量空间m中的随机矢量，其分量z．“= l，z…，n)为对象第i个特征量的铡量值(包台检测噪声)；随机矢量j有确定的概率分布函 教P(x)。设对象的模式可按其特征划分为^类，用正整数，∈{o，1’．．-，^一1)表征，郾y— i表示对象的模式划分属于弟i类(i—O，l…^一1)．当特征测量为f时，模式划分属于y的 条件概率分布函数为p(，A)，此为后驻概率．在大量试验中，模式，出现韵概率