2012计算智能–7.BP理论基础–梯度下降法.pptVIP

第 4 章 基于遗传算法的随机优化有哪些信誉好的足球投注网站 梯度下降法 梯度下降法,又称最速下降法。1847年由著名的数学家柯西Cauchy给出。 基本思想 假设我们爬山，如果想最快的上到山顶，那么我们应该从山势最陡的地方上山。也就是山势变化最快的地方上山 同样，如果从任意一点出发，需要最快有哪些信誉好的足球投注网站到函数最大值，那么我们也应该从函数变化最快的方向有哪些信誉好的足球投注网站。 函数变化最快的方向是什么呢？ 如果函数为一元函数，梯度就是该函数的导数 函数的梯度。 梯度下降法 如果为二元函数，梯度定义为： 如果需要找的是函数极小点，那么应该从负梯度的方向寻找，该方法称之为梯度下降法。 要有哪些信誉好的足球投注网站极小值C点，在A点必须向x增加方向有哪些信誉好的足球投注网站，此时与A点梯度方向相反；在B点必须向x减小方向有哪些信誉好的足球投注网站，此时与B点梯度方向相反。总之，有哪些信誉好的足球投注网站极小值，必须向负梯度方向有哪些信誉好的足球投注网站。 梯度下降法-步骤 假设函数 只有一个极小点。 初始给定参数为 。从这个点如何有哪些信誉好的足球投注网站才能找到原函数的极小值点？ 方法： 1. 首先设定一个较小的正数?，?; 2. 求当前位置处的各个偏导数： 3. 修改当前函数的参数值，公式如下： 4. 如果参数变化量小于?，退出；否则返回2。 梯度下降法 例1 任给一个初始出发点，设为x0=-4，利用梯度下降法求函数y=x2/2-2x的极小值。 (1) 首先给定两个参数： (2) 计算导数： (3) 计算当前导数值： (4) 修改当前参数： (5) 计算当前导数值： (6) 修改当前参数： 梯度下降法 (7) 计算当前导数值： (8) 修改当前参数： (9) 计算当前导数值： (10) 修改当前参数： (11)此时变化量满足终止条件，终止。 梯度下降法 梯度下降法，要求E的极小点 取 wij E ,此时Δwij0 E ,此时Δwij0 wij 梯度下降法 α为学习率 所以 而其中的 且 netj wij f(netj) o2 o1 … oi 所以 梯度下降法 且 所以： 令 wij E 是什么呢？ 梯度下降法 (1) 假设，oj为输出层神经元输出 由于 梯度下降法 如果函数f为sigmoid函数 此时，权值的调整公式为： 所以: 梯度下降法 (2) 假设，oj为隐含层神经元输出 由于 梯度下降法 由于 令 netk o1 j … o2 ok wjk i oj oi k wij 梯度下降法 且 所以: 如果函数f为sigmoid函数 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * * * * * * * * 第 4 章 基于遗传算法的随机优化有哪些信誉好的足球投注网站 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * 梯度下降法：又称最速下降法。因为沿着负梯度的方向是下降最快的方向。 * * * * * * * *