03机器学习-感知机.pptx

机器学习-感知机

“顺势而为”

本章目录感知机产生的由来感知机模型感知机的学习算法感知机的对偶问题机器学习的改进之路本章小结

将身高和体重对当作二维坐标点分布一个正交坐标系统中（欧式空间中）男为正样本，女为负样本。判别问题转化为:找到一条判别线条（决策面）对空间进行划分问题？通过身高体重预测性别（男女）问题样本序号身高（CM）体重（KG）男/女118070男216090男3456.17015516316252446364女？？？根据身高和体重数据，判别男女?问题：身高体重证据如何“和谐”的进行联合决策？决策面应该遵循哪些规测？

本章目录感知机产生的由来感知机模型感知机的学习算法感知机的对偶问题机器学习的改进之路本章小结

感知器是一种结构最简单的前馈神经网络，它主要用于求解分类问题输入为实例的特征向量，输出为实例的类别，取+1和-1；1957年由Rosenblatt提出，是神经网络与支持向量机的基础。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型；神经元的生物学结构神经元的数学描述分类超平面感知机模型

假设输入空间(特征空间)是，输出空间是输入 表示实例的特征向量，对应于输入空间（特征空间）的点，输出表示实例的类别，由输入空间到输出空间的函数：称为感知机，模型参数：wx，内积，权值向量，偏置，符号函数：......输入权重偏置求和求和输出感知机模型（把公式换成我们word里的mathtype？）

线性函数：感知机模型（把公式换成我们word里的mathtype？）超平面S:w为法向量，b截距，分离正O、负类X：特征向量和权重位于内乘空间，意味着：理想情况下，特征向量各个维度之间应该是线性无关；特征向量之间是去量纲化，比如身高的单位（cm），体重（Kg）不应影响特征向量；我们进一步将权量和特征向量看作是欧式空间中的向量，那么就表示样本点w和点x之间在欧氏空间中的相似度

本章目录感知机产生的由来感知机模型感知机的学习算法损失函数定义基于梯度的优化感知机的对偶问题机器学习的改进之路本章小结

如何定义损失函数？一个自然选择：正确分类点的数目感知机损失函数损失函数在参数w,b连续但不可导，不宜优化。另一选择：误分类点的替代函数：函数表示为样本而和是参数。当样本被正确分类时，；当被错误分类，。如果集合中没有被错分样本，则损失函数的值为0；集合中被错分的样本点越少。参数？和？对于损失函数是连续可导。运算？表示样本点分类的正确性(乘积大于0)及确信度(值越大表示距离分类决策面越远，分类的确信度越高)。因此，也是函数间隔（functionalmargin)的概念

本章目录感知机产生的由来感知机模型感知机的学习算法损失函数定义基于梯度的优化感知机的对偶问题机器学习的改进之路本章小结

梯度下降介绍找一个梯度下降的PPT？，最好有个简单的例子

梯度下降介绍梯度下降的重要参数包括：梯度的大小和方向梯度越准确，沿着目标函数寻找最小点，但可能落入局部最小；学习率的大小学习率越大，收敛速度可能越快，也可能跳过局部最小点；学习率越下，收敛速度越慢；

梯度下降的三种形式批量梯度下降（BatchGradientDescent,BGD）梯度下降的每一步中，都用到了所有的训练样本，内存复杂度高，计算复杂随机梯度下降（StochasticGradientDescent,SGD）梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和。内存复杂度低，计算快，但梯度方差大。小批量梯度下降（Mini-BatchGradientDescent,MBGD）梯度下降的每一步中，用到了一定批量的训练样本。内存大小和梯度方差位于BGD和SGD两者之间。出发点：计算准确性、计算代价之间的折中

求解最优化问题：梯度下降法：求解感知机损失函数每次用所有样本的优化方法参数更新规则所有样本的梯度：学习率

求解最优化问题：随机梯度下降法：求解感知机损失函数（更新）每次只用1个样本的优化方法参数更新规则所有样本的梯度：学习率学习率

求解最优化问题：小批量梯度下降法：求解感知机损失函数（更新每次只一小部分样本的优化方法参数更新规则所有样本的梯度：学习率

感知机的学习算法

感知机的学习算法代码-自己实现

感知机的学习算法代码-scikit-learn

例子：正例表示为O：