7无线通信信号处理_第4讲(神经网络信号处理).ppt

* 神经网络固有的一些缺陷 1.网络结构难以确定 2.容易陷入局部最优 3.采用了经验风险最小化原则（ERM），即用经验风险取代期望风险：根据概率论中的大数定理，只有当样本数目趋向无穷时，经验风险才趋向于期望风险 * 支持向量机 支持向量机(Support Vector Machines, SVM) 可以避免以上缺陷： 1.将问题转化为二次规划问题，理论上可以得到全局最优解 2.建立在统计学的VC（Vapnik-Chervonenks Dimension）维理论和结构化风险最小化原则(Structural Risk Minimization, SRM)的基础上，有效地避免了维数灾 难。 3.可以较好地解决小样本问题 * 机器学习的基本问题 机器学习问题的表示 G ----发生器 S ----训练器 LM--信息机 * 支持向量机的背景和原理 背景 支持向量机（SVM)是基于统计学习理论(Statistical Learning Theory或SLT)的一种新型机器学习方法,它由V. Vapnik等在1992年提出。随着SLT理论的不断完善，SVM也越来越受到人们的重视，目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。 * 支持向量机理论 SVM从线性可分情况下的最优分类面发展而来。 最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。 SVM即寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。 过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。 * 最优分类平面 H为分类线，H1、H2分别为过各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离叫做分类间隔。所谓最优分类线，就是要求分类线不但能将两类正确分开（训练错误率为0），而且使分类间隔ρ最大 r ρ H2 H1 H 支持向量 * 支持向量机用于分类 如下图的二分类问题，可以看作在特征空间的分类： wTx + b = 0 wTx + b 0 wTx + b 0 f(x) = sign(wTx + b) * 线性可分 如何分类是最优？ * 线性不可分 如果对给定的数据点不能用直线分类时，? 0 x2 x 0 x * 线性不可分（续） 解决线性不可分的一般方法：将原数据集影射到高维特征空间，从而实现线性可分： x → Φ(x) * 支持向量机 * SVM核函数 SVM中不同的内积核函数将形成不同的算法,主要的核函数有三类： 多项式核函数 径向基函数 S形函数 * 支持向量机研究 如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。 标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。 支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。 * SVM与神经网络(NN)的对比 SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明） SVM —— 严格的数学推理 NN —— 强烈依赖于工程技巧 推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。 NN设计者用高超的工程技巧弥补了数学上的缺陷——设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。 与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好! * 主要参考文献 A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2) Vapnik V N. The Nature of Statistical Learning Theory, NY: Springer-Verlag, 1995（中译本：张学工译.《统计学习理论的本质》.清华大学出版社,2000） 【说明】：该书附带介绍了很多科学研究的基本原则，很有启发、借鉴意义。 Introduction to Support Vector Machine. Vapnik V N. 著，张学工译. 统计学习理论.人民邮电出版社. 张学工. 关于统计学习理论与支持向量机. 自动化学报, 2000年第1期. * Threshold anvendes til klassificering, ligeledes logistic – fordel med