第二章感知机讲述.pptx

第二章 感知机 蔡天任 5/31 统计学习方法 李航 目录 2.1 感知机模型 2.2 感知机学习策略 2.2.1数据集的线性可分性 2.2.2感知机学习策略 2.3感知机学习方法 2.3.1感知机学习算法的原始形式 2.3.2算法的收敛些 2.3.3感知机学习算法的对偶形式 01 介绍 1957年Rosenblatt提出，是神经网络和支持向量机的基础。 02 定义 感知机是二分类的线性分类模型 2.1 感知机模型 感知机模型如下： f(x)= sign(w*x+b) 感知机的几何解释： 线性方程： 对应于特征空间 中的一个超平面S,其中w是超平面的法 向量，b是超平面的截距。 2.2 感知机学习策略 2.2.1 数据集的线性可分性 感知机原则上只能解决线性可分的分类问题。 数据集T T={(x1,y1)(x2,y2)……(xN,yN)} if exist S: w?x+b=0 将数据集完全正确划分到超平面两侧， 则可称数据集T线性可分。 2.2 感知机学习策略 2.2.2 感知机学习策略 所有误分类点到超平面s的总距离： （其中M为误分类集合） 2.3 感知机学习算法 Hypothesis: h(x) = sign(w·x + b) Cost function: Goal: min L(w , b) 2.3 感知机学习算法 2.3.1 感知机学习算法的原始形式 Stochastic gradient descent 随机选取一个误分类点 update w, b: s.t. L 0 2.3 感知机学习算法 2.3.2 算法的收敛性 定理可以证明，误分类次数k是有上界的，经过有限次有哪些信誉好的足球投注网站可以找到将训练集完全正确分开的分离超平面。 感知机学习算法存在很多解，需要对分离超平面增加约束 条件。 2.3 感知机学习算法 2.3.3 感知机学习算法的对偶形式 不失一般性，假设w 和b 初始值均为0。 对误分类点 通过 if update n : 最后学习到的w，b可以表示为 2.3 感知机学习算法 感知机模型： Step1: 首先置 Step2: 在训练集中选取 Step3: 转向2直到没有误分类点。 THANKS！