数学专业论文 用初等数学解读逻辑回归毕业论文.doc

数学专业论文 用初等数学解读逻辑回归 一、 引言 为了降低理解难度，本文用最基础的初等数学来解读逻辑回归，少用公式，多用图形来直观解释推导公式的现实意义，希望使读者能够对逻辑回归有更直观的理解。 二、 逻辑回归问题的通俗几何描述 逻辑回归处理的是分类问题。我们可以用通俗的几何语言重新表述它：?空间中有两群点，一群是圆点“〇”，一群是叉点“X”。我们希望从空间中选出一个分离边界，将这两群点分开。 注：分离边界的维数与空间的维数相关。如果是二维平面，分离边界就是一条线（一维）。如果是三维空间，分离边界就是一个空间中的面（二维）。如果是一维直线，分离边界就是直线上的某一点。不同维数的空间的理解下文将有专门的论述。 为了简化处理和方便表述，我们做以下4个约定： 我们先考虑在二维平面下的情况。 而且，我们假设这两类是线性可分的：即可以找到一条最佳的直线，将两类点分开。 用离散变量y表示点的类别，y只有两个可能的取值。y=1表示是叉点“X”，y=0表示是是圆点“〇”。 点的横纵坐标用表示。 于是，现在的问题就变成了：怎么依靠现有这些点的坐标和标签（y），找出分界线的方程。 三、 如何用解析几何的知识找到逻辑回归问题的分界线？ 我们用逆推法的思路：?假设我们已经找到了这一条线，再寻找这条线的性质是什么。根据这些性质，再来反推这条线的方程。 这条线有什么性质呢？?首先，它能把两类点分开来。——好吧，这是废话。(￣￣)”?然后，两类点在这条线的法向量p上的投影的值的正负号不一样，一类点的投影全是正数，另一类点的投影值全是负数！? 首先，这个性质是非常好，可以用来区分点的不同的类别。 而且，我们对法向量进行规范:只考虑延长线通过原点的那个法向量p。这样的话，只要求出法向量p，就可以唯一确认这条分界线，这个分类问题就解决了。?? 还有什么方法能将法向量p的性质处理地更好呢？?因为计算各个点到法向量p投影，需要先知道p的起点的位置，而起点的位置确定起来很麻烦，我们就干脆将法向量平移使其起点落在坐标系的原点，成为新向量p’。因此，所有点到p’的投影也就变化了一个常量。???假设这个常量为，p’向量的横纵坐标为。空间中任何一个点到p’的投影就是，再加上前面的常量值就是：?看到上面的式子有没有感到很熟悉？这不就是逻辑回归函数中括号里面的部分吗？?令?就可以根据z的正负号来判断点x的类别了。 四、 从概率角度理解z的含义。 由以上步骤，我们由点x的坐标得到了一个新的特征z，那么: z的现实意义是什么呢？ 首先，我们知道，z可正可负可为零。而且，z的变化范围可以一直到正负无穷大。?z如果大于0，则点x属于y=1的类别。而且z的值越大，说明它距离分界线的距离越大，更可能属于y=1类。?那可否把z理解成点x属于y=1类的概率P(y=1|x) （下文简写成P）呢？显然不够理想，因为概率的范围是0到1的。但是我们可以将概率P稍稍改造一下：令Q=P/(1-P)，期望用Q作为z的现实意义。我们发现，当P的在区间[0,1]变化时，Q在[0,+∞)区间单调递增。函数图像如下（以下图像可以直接在度娘中搜“x/(1-x)”，超快）:??但是Q的变化率在[0,+∞)还不够，我们是希望能在(-∞,+∞)区间变化的。而且在P=1/2的时候刚好是0。这样才有足够的解释力。 注：因为P=1/2说明该点属于两个类别的可能性相当，也就是说这个点恰好在分界面上，那它在法向量的投影自然就是0了。 而在P=1/2时，Q=1，距离Q=0还有一段距离。那怎么通过一个函数变换然它等于0呢？有一个天然的函数log，刚好满足这个要求。?于是我们做变换R=log(Q)=log(P/(1-P))，期望用R作为z的现实意义。画出它的函数图像如图：??这个函数在区间[0,1]中可正可负可为零，单调地在(-∞,+∞)变化，而且1/2刚好就是唯一的0值!基本完美满足我们的要求。?回到我们本章最初的问题， “我们由点x的坐标得到了一个新的特征z，那么z的具体意义是什么呢？” 由此，我们就可以将z理解成x属于y=1类的概率P经过某种变换后对应的值。也就是说，z= log(P/(1-P))。反过来就是P=。图像如下：??这两个函数log(P/(1-P)) 、看起来熟不熟悉？ 这就是传说中的logit函数和sigmoid函数! 小小补充一下： 在概率理论中，Q=P/(1-P)的意义叫做赔率(odds)。世界杯赌过球的同学都懂哈。赔率也叫发生比，是事件发生和不发生的概率比。 而z= log(P/(1-P))的意义就是对数赔率或者对数发生比（log-odds）。 于是，我们不光得到了z的现实意义，还得到了z映射到概率P的拟合方程： 有了概率P，我们顺便就可以拿拟合方程P=来判断点x所属