一步一步Backpropagation反向传播示例-Gary.PDFVIP

对于本教程，我们将使用具有两个输入，两个隐藏神经元，两个输出神经元的神经网 络。另外，隐藏和输出的神经元将包括一个偏差bias。 这是基本的结构： 为了有一些数字可以使用，这里有初始权重，偏差和训练输入/输出： 反向传播的目的是优化权重，使得神经网络可以学习如何将任意输入正 确地映射到输出。 们希望神经网络输出为0.01和0.99。 向前传播 我们找出每个隐层神经元的总净输入，使用激活函数压缩总净输入（这里我们 使用logistic函数），然后用输出层神经元重复该过程。 以下是我们如何计算h1的总净输入： 然后我们使用logistic函数来压缩它以获得h1的输出： 对于h2执行相同的过程，我们得到： 我们对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。 以下是o1的输出： 并为o2执行相同的过程，我们得到： 计算总误差 我们现在可以使用平方误差函数计算每个输出神经元的误差 ，并将它们相加得出总误差： 加入 以便在稍后求微分时，消掉指数。结果最后还要乘以学习  率，所以我们在这里引入一个常数并不重要。 例如，o1的目标输出为0.01，但神经网络输出为 重复o2的这个过程（记住目标是0.99），我们得到： 神经网络的总误差是这些误差的总和： 向后传播 我们的反向传播目标是更新网络中的每个权重，从而使实际输出更接近目标输出， 从而最大限度地减少每个输出神经元和整个网络的误差。 Output Layer输出层 aka  思考 ，我们想知道w5的变化会对总误差产生多大影响   也可以称作相对于 的梯度  读作 对 的偏导 通过应用链式法则，我们知道： 从视觉上来看，我们正在做的是： 我们需要弄清这个方程式的每个部分。 首先，相对于输出，总误差有多大变化？ 有时表示为  当我们对 取总误差的偏导数时， 变为0，因为  不影响它，常    量的导数等于0 接下来，o1的输出对于其总净输入有多少变化？ logistic函数的偏导数是输出乘以（1减去输出）： 最后，o1的总净输入对w5有多少变化？ 把它们放在一起： 你会经常以delta规则的形式将此计算结合在一起： 或者，我们可以将      和 写成 aka   （希腊字母delta）也称为节点增量。我们可以用这个来重写上面的计算： 因此： 一些来源从 提取负号，因此它将被写为：  为了减少误差，我们从当前权重中减去该值（可选的乘以一些学习速率eta，我 们设置为0.5）：  (alpha)  (eta) 还有使用 (epsilon) 的 一些来源使用 来表示学习率，也有使用 的，甚至 我们可以重复这个过程来获得新的权重 ,  和 ： 在我们拥有进入隐藏层神经元的新权重之后，我们在神经网络中执行实际的更新 （即，当我们继续下面的反向传播算法时，我们使用原始权重而不是更新的权重）。 Hidden Layer隐藏层 接下来，我们将通过计算 ,  ,  和 的新值来继续向后传播 这是我们需要弄清楚的： 从视觉上来看： 我们将使用与输出层类似的过程，但略有不同，因为每个隐藏层神经元的输出 对多个输出神经元的输出（因此也是 因此 要考虑其对两个输出神经元的影响：需   从  开始： 我们可以使用我们之前计算的值来计算 ： 而 等于 ： 将其代入： 遵循  的相同过程，我们得到： 因此： 现在我们有 ，我们需要找出 还有 ： 出神经元做的一样： 我们计