课件：神经网络配套Ch12presSV.ppt

* * * * 12+ * 支持向量机(SVM)网络 最优线性分界面（二分类问题） 对线性可分集，总能找到使样本正确划分的分界面，而且有无穷多个，哪个是最优的？ 一种最优的分界准则（从对样本及参数的鲁棒性看）是使两类模式向量分开的间隔最大。 支持向量机 最优线性分界面的确定 两分类的线性判别函数的一般表达式为： 。 方程 定义了一个超平面H，它把两类训练样本完全分开。设Ｎ个样本为：　　　　　　　　　　 ， ， ，则有分类规则： ， ， 由于训练集线性可分，改变权向量的摸，总可改写分类规则为： ， ， 进一步合并有紧凑式： 同样还有： 支持向量机 最优线性分界面的确定（续） g(x)可以看成是从x到超平面的距离的一种度量，见图。把x表示成：　　　　　　 ，其中r是x到Ｈ的垂直距离，则有：　　　　　　　　　　　　　　，即： 支持向量机 最优线性分界面的确定（续） 间隔：离分界面H最近的样本点(即使 的样本点)与分界面的距离，它是 。这样，两类模式间隔的距离为 。 最优分界面：为使两类间隔最大，应使 最小，等价于使 最小。所以，最优分界面应满足： 和 支持向量：距离最优分界面最近的位于间隔边界上的那些样本向量，也就是使得等号　　　　　　或 成立的那些样本向量。 支持向量机 最优分界面的求解 用Lagrange乘子法最小化代价函数： 。 ? 构造Lagrange函数： 其中 为Lagrange乘子，达到极值的必要条件为： 必要条件1： 即： 必要条件2： 即： ? 从最优化理论的KTT条件得出解必须满足： ? 从必要条件1看到，只有 的样本对权起作用，而此 时必有 ，即相应的样本是支持向量。 故解向量w是由支持向量构建的，它们决定分类结果。 支持向量机 最优分界面的求解（续） 根据Lagrange优化方法，用对偶定理求乘子 最优解。 ? 展开Lagrange函数有： ? 将 和 代入上式，则有： ? 求上式的最大值，可得最优解 ，则最优权向量为： （ 是支持向量的个数） ? 最优偏置可选用一个支持向量样本求得： 。 最优分界面是： 支持向量机 线性不可分问题 向高维空间（特征空间）映射 模式可分性的Cover定理 将复杂的模式分类问题非线性地投射到高维空间将比投射到低维 空间更可能是线性可分的。 基本原理 通过某种非线性映射 将样 本映射到一个高维空间（特征空间），在这个高维空间中构造最