深度学习入门必须理解这25个概念.pdf

深度学习入门必须理解这 25 个概念 1、神经元（ Neuron ）——就像形成我们大脑基本元素 的神经元一样， 神经元形成神经网络的基本结构。 想象一下， 当我们得到新信息时我们该怎么做。当我们获取信息时，我 们一般会处理它，然后生成一个输出。类似地，在神经网络 的情况下，神经元接收输入，处理它并产生输出，而这个输 出被发送到其他神经元用于进一步处理，或者作为最终输出 进行输出。 2 、权重（ Weights ）——当输入进入神经元时， 它会乘以一个权重。例如，如果一个神经元有两个输入，则 每个输入将具有分配给它的一个关联权重。我们随机初始化 权重，并在模型训练过程中更新这些权重。训练后的神经网 络对其输入赋予较高的权重，这是它认为与不那么重要的输 入相比更为重要的输入。为零的权重则表示特定的特征是微 不足道的。让我们假设输入为 a ，并且与其相关联的权重为 W1 ，那么在通过节点之后， 输入变为 a *W1 。3 、偏差 （Bias ） ——除了权重之外，另一个被应用于输入的线性分量被称为 偏差。它被加到权重与输入相乘的结果中。基本上添加偏差 的目的是来改变权重与输入相乘所得结果的范围的。添加偏 差后，结果将看起来像 a* W1 偏差。这是输入变换的最终 线性分量。 4 、激活函数（ Activation Function ）——一旦将 线性分量应用于输入，将会需要应用一个非线性函数。这通 过将激活函数应用于线性组合来完成。激活函数将输入信号 转换为输出信号。应用激活函数后的输出看起来像 f （a *W1+ b ），其中 f 就是激活函数。在下图中，我们将 n 个输 入给定为 X1 到 Xn 而与其相应的权重为 Wk1 到 Wkn 。 我们有一个给定值为 bk 的偏差。权重首先乘以与其对应的 输入，然后与偏差加在一起。 而这个值叫做 u 。U = ΣW*X +b 激活函数被应用于 u ，即 f(u) ，并且我们会从神经元接收最 终输出，如 yk = f （u ）。常用的激活函数最常用的激活函数 就是 Sigmoid ，ReLU 和 softmax （a ）Sigmoid ——最常用 的激活函数之一是 Sigmoid ，它被定义为： sigmoid(x)=1/(1+e -x )Sigmoid 变换产生一个值为 0 到 1 之间更平滑的范围。我们可能需要观察在输入值略有变化时 输出值中发生的变化。光滑的曲线使我们能够做到这一点， 因此优于阶跃函数。 （b ）ReLU （整流线性单位）——与 Sigmoid 函数不同的是，最近的网络更喜欢使用 ReLu 激 活函数来处理隐藏层。 该函数定义为： f(x)=max(x,0) 当 X0 时，函数的输出值为 X ；当 X 使用 ReLU 函数的最主要的 好处是对于大于 0 的所有输入来说，它都有一个不变的导 数值。常数导数值有助于网络训练进行得更快。 （c ） Softmax —— Softmax 激活函数通常用于输出层，用于分类 问题。它与