线性回归与分类.doc

线性回归与分类 线性回归与分类 PAGE / NUMPAGES 线性回归与分类 线性回归与线性分类 线性回归 在温洲的一个房产网（）我弄到了下边的一些数据： 此刻我们以横轴表示房屋面积，纵轴表示房屋价钱，画到坐标轴上： 此刻问题来了， 我想要一套 200 平方米的房屋价钱大体是多少呢这时在数据表中我又找不到到对应的数据。那么这时就要做线性回归剖析了。以下列图找到下边这样的一条直线，使图中的全部点到直线的距离最小（即便偏差最小）。 下边我们用数学语言来表达“使图中的全部点到直线的距离最小”这句话。 图中的（面积，价钱）能够用坐标点 (Xi,Yi)表示。数学中的直线方程分析式为： y=kx+b,此刻我们用机器学习里的表达方式以下 : y=b+wx （在机器学习中 b 叫偏至， w 叫超越平面参数） 这样的表达还不够一致，不方便计算，写成下式： y’=w’x’,(w ’=[1,w] x’=[1,x]). 此刻我们持续把上边改写成向量形式， 以便于推行到 N 维形式，改写成正式： “使图中的全部点到直线的距离最小”用数学的语言描绘以下： 上式叫偏差平方和式，写成向量形式以下： 我们的目标是使 J(W)最小，上式对 W 求导得： W 就是我们要求的结果了。把 200 平方米的代入式（ 1）就获得我们的预计 房价了 这里的解有一个圈套，不知道大家知道了没有。在分类问题中，我会提出一种要求更低的解决算法，即有名的感知机算法。 线性分类 什么是分类呢下边我列出一些实质的分类任务以下： 辨别图像中的人脸，非人脸。 辨别正常邮件，垃圾邮件。 辨别信贷中的正常行为，欺骗行为。 入侵检测中的系统的的 正常接见 跟非法接见。 一些符号说明以下： 以下列图的两类分类问题为例，样本点的类型是已知的，而且两类样本点是线性可分的， 定义映谢： 求分类平面 使得： 为了便于计算，对 (2)式进行扩展，定义： 因此式 (2)式又能够简化为： 分类平面应当尽可能的把两类点集分开，即，使下式的平方偏差最小： 依据回归的例子，我们有相同的结论： 上边的解要求 是正定的，也就是可逆的。现中的数据常常会不知足这一条件。 还好有个万金有的方法，梯度降落算法，梯度降落算法能获得局部最优解。 我们先看一下，一元二次函数： 经过对上式求一阶导数，获得一下最优解： X=-b/(2a)处是方程的一个最优解 此刻我们随机给定一个初始的 x，要经过怎么样的过程，或没什么方向才能凑近 -b/(2a)这个解答案就是没着，曲线 y 的梯度降落方向。 函数： 那么梯度定义以下： 算法的迭代式以下： 回到我们的问题也就是： n 是学习速率， n 一般取 ~,一般我们会设定一个最大的迭次系数。 过大会过快收敛，不利于达到局部的最优解，太小又会收敛太慢。下边看一元二次函数应用的例子： 二值分类例子： 代码说明： 回归例子 一元二次函数例子 二值分类例子