14 神经网络.pdf

机器学习 14.神经网络 主要内容  Sigmoid函数与逻辑回归  NN预测：Forward Propagation  NN训练：Backpropagation  深度学习 主要内容  Sigmoid函数与逻辑回归  NN预测：Forward Propagation  NN训练：Backpropagation  深度学习 Sigmoid函数与逻辑回归 逻辑回归的目标函数： m T ln(1+exp−yf x( )) i i i i=1 Logistic函数或Sigmoid函数： Sigmoid函数与逻辑回归 怎样学习线性分类参数？ MLE m i i w,b i=1 m T i=1 i i 怎样求解？ 梯度下降！ 能否找到全局极优？ Sigmoid函数与逻辑回归 m w,b i=1 i T i 简化表示： 将w每项记为w1,…,wd, b记为w0 梯度： 更新法则： Sigmoid函数与逻辑回归 输入一个Xi, 其输出为： 直观表示： Sigmoid函数与逻辑回归 Sigmoid函数的导数形式： 简洁，易算 Sigmoid函数与逻辑回归 若线性函数无法描述函数结构？ 神经网络： 主要内容  Sigmoid函数与逻辑回归  NN预测：Forward Propagation  NN训练：Backpropagation  深度学习 Forward Propagation Feed-forward Neural Network 输出函数基本形式： Forward Propagation 简化格式： Forward Propagation 强大的逼近能力！  一个隐层，三个隐层节点，在50个数据上获得的回归函数 主要内容  Sigmoid函数与逻辑回归  NN预测：Forward Propagation  NN训练：Backpropagation  深度学习 Backpropagation 学习目标是什么？  回归- 目标函数： 分类目标函数：Log loss 为什么采用这个目标函数？ 光滑，易算 背后的道理？ Backpropagation 基本思想方法： Gradient Desicent Error Propagation Backpropagation 一个隐层，一个输出情形： 尝试求导！ 后向传播！ Back