机器学习常用模型及优化.pdfVIP

第一章模型建立 1.1 回归模型： 条件： 1. 数据 2. 假设的模型 结果： 用模型对数据学习，预测新数据 1.1.1 一元线性回归模型（最小二乘法） 它通过最小化误差的平方和寻找数据的最佳函数匹配 我们以最简单的一元线性模型来解释最小二乘法。 什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量 机等），如果预测的变量是连续的，我们称其为回归 假设从总体中获取了 n 组观察值（ X1 ，Y1 ），（X2 ，Y2 ）， …，（Xn ，Yn ） 平方损失函数 1.1.2 逻辑回归模型 将线性回归中的一次模型变成逻辑回归函数，即 sigmoid 函数。 或者： 其他的思路和想法与线性回归一样， 所以说逻辑回归的模型是一个非线性模 型，但是它本质上又是一个线性回归模型 损失函数（误差函数）为： 1.1.3 softmax 回归 它是逻辑回归的扩展 从分类的角度来说，逻辑回归只能将东西分成两类（ 0,1 ），softmax 可以分 成多类 逻辑回归中，模型函数（系统函数）为： Softmax 回归中，模型函数（系统函数）为： 1.2 神经网络模型 1.2.1 神经元 首先来一个三输入单输出的神经元， 输入输出都是二进制 （0,1）。举例来说： X1 表示天气是否好 X2 表示交通是否好 X3 表示是否有女朋友陪你 Y 表示你是否去电影院看电影 要让这个神经元工作起来，需要引入权重， w1,w2,w3 。这样就有了： （1） W1 表示 ”天气是否好 ”对你做决定的重要程度 W2 表示 ”交通是否好 ”对你做决定的重要程度 W3 表示 ”是否有女朋友陪你 ”对你做决定的重要程度 Threshold 越低表示你越想去看电影，风雨无阻你都想去。 Threshold 越高表 示你越不想去看电影，天气再好也白搭。 Threshold 适中表示你去不去电影院要 看情况，看心情。 1.2.2 神经网络 现在扩展一下： 这样就出现神经网络了，可以看出这是很多神经元组合成的。 把上面的（ 1）式中的 threshold 用偏移量 -b 表示，并且移到不等式左边，出 现下面（ 2）式： （2 ） 例子就不举了， 原文是实现与非门的一个例子， 说明这个东西可以进行逻辑 推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。 现在要用这个东西学习识别手写字体，我们的想法是这样的： 举例来说，电脑错把 9 当成了 8，那么我们希望通过自动调整 w 或 b 来对 output 进行调整，以达到正确的结果。这时网络会自己“学习”了。 具体是这样的： 1 if (w+b) 0.5 output 0 if (w+b)0.5 其中 ( ) 是 sigmoid 函数： 下面是 sigmoid 函数的图形 它是阶梯函数的一个平滑： 输出通过 w 和 b 进行微调的式子是这样的： 这个式子比较抽象，它只是战略性的一个式子，下面引入 cost 函数来进行 战术实践。 Cost 函数是评价模型准确与否的一个函数，