SVM(支持向量机)算法与应用分析.ppt

g1(x) g2(x) g3(x) g4(x) X’ g1(x’) g2(x’) g3(x’) g4(x’) arg max(g1(x’), g2(x’) , g3(x’) , g4(x’)) {A,(B,C,D)} {B,(A,C,D)} {C,(B,A,D)} {D,(B,C,A)} 一对一的投票策略 (A,B) (A,C) (A,D) (B,C) (B,D) (C,D) g1(x) g2(x) g3(x) g4(x) g5(x) g6(x) A B C D arg max(vote(A), vote(B), vote(C), vote(D), X’ 一对一的淘汰策略 (A,C) (A,B) (A,D) (B,D) (C,D) (B,C) g1(x) g2(x) g3(x) g4(x) g5(x) g6(x) X’ C X X X X’ B X X X’ ? SVM综述 SVM算法基本原理 SVM参数的求解-SMO优化算法 SVM的推广-多分类问题 基于SVM的人脸识别 Outline 基于SVM的人脸识别 人脸识别由于在公安部门、安全验证系统、信用卡验证、档案管理和人机交互系统等方面的广阔应用前景，已经成为当前模式识别和人工智能领域的一个研究热点。 基于SVM的人脸识别 人脸识别技术就是以计算机为辅助手段，从静态图像或动态图像中识别人脸。 ……… ？ 多分类问题 基于SVM的人脸识别系统 实验数据采用ORL人脸库，总共有40个人，每人有10幅图像，每幅图像的大小为：112*92，每个人有5幅图像作为训练集，5幅图像作为测试集，训练集和测试集分别有200张图像。 数据描述 对于每幅图像，按列存储为一个10304维的行向量，400幅图像就组成一个400*10304的二维矩阵，每行表示一个人脸样本。 数据预处理 每个10304维的人脸向量利用PCA降维至20维。 PCA降维 训练 用libSVM工具箱的参数选择工具grid.py选择径向基核函数的参数，利用Matlab自带的SVM工具箱中的svmtrain函数对PCA降维后的数据进行训练，得到SVM分类器的结构体SVMStruct。 由上一步骤得到的SVMStruct结构体对测试样本进行分类。 分类 谢谢 将关于w，b的两式带回L(w,b,a)得到对偶问题的表达式 QP问题求解： W(α) SVM数学模型 数据集合： 优化目标： x，y为已知数 最优解 g(x)= +1 -1 支持向量(Support Vectors) :是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) SVM雏形：最大间隔线性分类器 新来样本预测 g(x)= x 线性不可分的情况 ?? 在一维空间中，没有任何一个线性函数能解决下述划分问题（黑红各代表一类数据），可见线性判别函数有一定的局限性。 广义线性判别函数 如果建立一个二次判别函数g(x)=(x-a)(x-b)，则可以很好的解决上述分类问题。 决策规则仍是：如果g(x)0，则判定x属于C1，如果g(x)0，则判定x属于C2，如果g(x)=0，则可以将x任意分到某一类或者拒绝判定。 广义线性判别函数 二次判别函数g(x)=(x-a)(x-b)可写成如下的一般形式：  g(x)=c0+c1x+c2x2 如果选择x到y的映射,则可以把二次判别函数化为关于y的线性函数  其中， y=[y1?y2?y3]T=[1 x x2]T a=[a1?a2?a3]T=[c0?c1?c2]T 称g(x)=?aTy为广义线性判别函数，a叫做广义权向量。 广义线性判别函数 一般地，对于任意高次判别函数g(x)，都可以经过适当的变换化为广义线性判别函数来处理，aTy?不是x的线性函数，得却是y的线性函数。aTy=0在y空间确定了一个通过原点的超平面。此处的g(x)也可以看到任意判别函数作级数展开，然后取其结尾部分的逼近。 广义线性判别函数  实际问题中，数据本身（如文本）的维数很大，映射到高维空间后维数更是大大增加了，这将使问题很快陷入所谓的“维数灾难”。 核函数 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于R（m）,nm。根据核函数技术有： K(x,z) =Φ(x),Φ(z) (1) 其中：, 为内