机器学习1.11-逻辑回归1.pptxVIP

机器学习;上善若水，水善利万物而不争。

信言不美。美言不信。善者不辩。辩者不善。知者不博。博者不知。

天下难事，必作于易；天下大事，必作于细

知者不言，言者不知;一点遗留问题：

线性回归性能评估与正则化代码讲解;目录;学习一种针对线性二类别分类问题的简单但更高效的算法：逻辑斯谛回归（logisticregression）。请注意：不要被其名字所迷惑，逻辑斯谛回归是一个分类模型，而不是回归模型。;在介绍逻辑斯谛回归作为一种概率模型所具有的特性之前，先介绍一下几率比（oddratio），它指的是特定事件发生的几率。用数学公式表示为

其中p为正事件发生的概率，强调，正事件并不意味着好的事件，而是指我们所要预测的事件，以一个患者患有某种疾病的概率为例，我们可以将正事件的类标标记为y＝1。

更进一步，我们可以定义logit函数，它是几率比的对数函数（log-odds，对数几率）。;logit函数的输入值范围介于区间[0,1]，它能将输入转换到整个实数范围内，由此可以将对数几率记为输入特征值的线性表达式：;这里的z为输入，也就是样本特征与权重的线性组合，其计算方式为：;对照前面给出的sigmoid函数的图像，它其实相当于：;对于许多应用实践来说，我们不但对类标预测感兴趣，而且对事件属于某一类别的概率进行预测也非常有用。

例如，将逻辑斯谛回归应用于天气预报，不仅要预测某天是否会下雨，

还要推测出下雨有多大的可能性。

同样，逻辑斯谛回归还可用于预测在出现某些症状的情况下，患者患有某种疾病的可能性，这也是逻辑斯谛回归在医疗领域得到广泛应用的原因。;回忆线性回归的代价函数：

;为了推导出逻辑斯谛回归模型的代价函数，在构建逻辑斯谛回归模型时，需要先定义一个最大似然函数L，假定数据集中的每个样本都是相互独立的，其计算公式如下：;在实际应用中，很容易对此方程的（自然）对数进行最大化处理（求其极大值），故定义了对数似然函数：;现在可以通过梯度上升等优化算法最大化似然函数。或者，改写一下对数似然函数作为代价函数J，这样就可以使用梯度下降做最小化处理了。;线性回归与逻辑回归???码对比：;曾经说过：乘积求和都可以转为点乘操作

或矩阵乘法;对应上面的激活函数activation，只是根据现实应用对z做了范围限制，所有小于-250的为-250，所有大于250的为250.

;回忆线性回归中的正则化：

引起过拟合的常见的点：训练数据过少，特征过多，模型过于复杂。

通过实验发现正则化能帮助减少过拟合！！是解决了特征过多，模型过于复杂问题。

本质是对权重w的约束！

大家经常说起的解释是：在某种程度上，越小的权重复杂度越低，因此能够更简单且更有效地描绘数据，所以我们倾向于选择这样的权重。

;有一种看法是，在科学上，除非迫不得已，我们都应该用更简单的解释。当我们找到一个看起来能解释很多数据点的简单的模型的时候我们会忍不住大喊「找到啦！」。（还记得奥卡姆剃刀原理么？）

毕竟一个简单的解释的出现似乎不可能仅仅是因为巧合，我们猜测这个模型一定表达了关于这个现象的一些潜在真理。

复杂模型往往容易学习到了一些局部噪声的影响（现实的数据总是有噪声的）。因此当一个复杂模型（比如一个n次多项式模型）完美拟合了特定数据集的时候，这样的模型一般都不能很好泛化到其它数据集上，所以包含一定噪声的线性模型在预测中会有更好的表现。;分类问题：;正则化同样适用于分类问题来解决过拟合问题