《大数据挖掘与统计机器学习（第3版）》 课件 8_神经网络.pptx

1;什么是神经网络;神经网络的发展历史;神经网络的发展历史;深度学习与浅层学习;神经网络用来做什么;8.1前馈神经网络;8.1.2人工神经元;引入激活函数的目的是在模型中引入非线性。如果没有激活函数，无论神经网络有多少层，最终都是一个线性映射，单纯的线性映射无法解决线性不可分问题，只相当于有一个隐层的神经网络。引入非线性可以让模型解决线性不可分问题。（随着网络的加深，通过非线性映射可以构造出各种有趣的函数）

（1）阈值函数——阶跃函数和对称型阶跃函数

（2）分段线性函数——分段线性函数和对称型分段线性函数

（3）sigmoid函数

（4）双曲正切函数tanh

（5）ReLu函数（RectifiedLinearUnits）

;阈值函数——阶跃函数和对称型阶跃函数

这是最简单的激活函数,其输出状态取二值(1与0,或+1与-1),用来简单模拟生物神经元“兴奋—抑制”的二值状态。

;分段线性函数——分段线性函数和对称型分段线性函数

自变量与函数值在一定区间内满足线性关系;sigmoid函数

具有非线性、单调性和可微性,在线性和非线性之间具有较好的平衡,是人工神经网络中最常用的一种激活函数。

两个缺点：均值不是0；梯度消失——后面解释

当z值非常大或者非常小时，sigmoid函数的导数g′(z)将接近0。这会导致权重W的梯度将接近0，使得梯度更新十分缓慢，即梯度消失。

;双曲正切函数tanh

tanh函数在0附近很短一段区域内可看做线性的。由于tanh函数均值为0，因此弥补了sigmoid函数均值为0.5的缺点。

缺点：梯度消失——后面解释

当z很大或很小时,g′(z)接近于0,会导致梯度很小,权重更新非常缓慢，即梯度消失问题

;ReLu函数

弥补了sigmoid函数以及tanh函数的梯度消失问题。

计算速度要快很多。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。（sigmod和tanh要计算指数，计算速度会比较慢）

缺点：当输入为负时，梯度为0，会产生梯度消失问题。;8.1.3前馈网络;神经网络的学习;8.2反向传播（BP）算法;8.2.1向前传播

;8.2.2?;8.2.3反向传播（BP）算法;?;

;?;8.2.4激活函数的选择;PyTorch应用实例