梯度下降法（必威体育精装版文档）.pptx

梯度下降法;1.引言;梯度下降法包含三种不同形式：

批量梯度下降BGD（BatchGradientDescent）

随机梯度下降SGD（StochasticGradientDescent）

小批量梯度下降法MBGD(Mini-BatchGradientDescent)

下文将以线性回归算法为例来对三种梯度下降法进行比较;2.先导知识;从图上可以看出，大致数据的大致走势是可以用线性模型y=kx+b来表示的，为此我们建立一维线性回归模型。

假设一维线性模型表达式如下：;其中：

h?(x)是假设函数，即要拟合的函数

θ为待求解参数，即要迭代求解的值，θ求解出来了那最终要拟合的函数h?(x)就确定了。

n表示输入特征数，为方便计算，所有的样本都加入了x0=1这个特征，所以维数为n+1维。

;对应的损失/误差函数，即估计值与真实值之间的差距，这里用2-范数表示为：

其中：

m是训练集的样本个数

1/2是为了后面求导计算方便;一个二维参数（θ0，θ1）组对应能量函数（描述整个系统的优化程度，随着网络的变化而减小，最终网络稳定时能量达到最小）的可视化图;3.批量梯度下降法BGD;梯度下降算法，利用初始化的参数θ并且反复更新参数θ：

α代表学习率，表示每次向着函数J最陡峭的方向迈步的大小（步长？）;（1）将J(θ)对θ求偏导，得到每个θ对应的的梯度

当m=1时，即只有一个样本数据（x,y），J对第j个参数θj的偏导数是：;对所有m个样本数据，上述损失函数的偏导（累和）为：;;上例中，利用BGD求得;由更新公式可知，批量梯度下降得到的是一个全局最优解，每一次的参数更新都用到了所有的训练数据，如果训练数据非常多的话，执行效率较低。

批量梯度下降法的收敛图（迭代的次数相对较少）：;4.随机梯度下降法SGD;上例中，利用SGD求得

;随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将参数迭代到最优解。

对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。

SGD的问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。;随机梯度下降收敛图（SGD迭代的次数较多，在解空间的有哪些信誉好的足球投注网站过程看起来很盲目。但是大体上是往着最优值方向移动。）

;5.小批量梯度下降法MBGD;6.总结;参考文献