机器学习与应用-第02讲-人工神经网络-1.pptxVIP

神经网络的思想起源

神经元的原理

神经网络结构

正向传播算法

怎样用于实际问题

反向传播算法概述

算法的历史

神经网络训练时的优化目标函数

几个重要的复合函数求导公式

算法的推导

算法的总结

工程实现问题;人类的大脑由大约800亿个神经元组成

这些神经元由突触与其他神经元相互连接，交换电信号和化学信号

大脑通过神经元之间的协作完成各种功能

神经元之间的连接关系是通过进化、生长发育和后天刺激形成的;人工神经网络

受动物神经系统的启发，是一种仿生的方法。但只是简单的模仿

是感知器模型、logistic回归的进一步发展;神经元的原理;sigmoid函数

定义域

值域

单调性

导数;神经网络结构

多层前馈型神经网络，也称为多层感知器模型MLP

是一个分层结构，每一层有多个神经元

输入层

隐含层

输出层;神经网络每一层完成的变换;正向传播算法;完整的正向传播算法;神经网络本质上是一个多层复合函数

通过调整权重和偏置项实现不同的映射

权重和偏置项的值通过训练得到;怎样用于实际问题

分类问题-输入值为特征向量或原始数据，输出值为one-hot编码

回归问题-输出值为回归函数值

对于分类问题，分类结果为输出层神经元的最大值

对于回归问题，直接是输出层的值;;回归问题-预测人脸关键点

神经网络直接为输入图像预测出关键点的坐标(x,y);反向传播算法简介

解决神经网络参数求导问题

源自微积分中多元函数求导的链式法则

与梯度下降法配合，完成网络的训练;DavidE.Rumelhart,GeoffreyE.Hinton,andRonaldJ.Williams.Learninginternalrepresentationsbyback-propagatingerrors.Nature,323(99):533-536,1986.;以下面的3层网络为例：;神经网络每一层完成的变换为：;神经网络的权重和偏置参数通过训练得到

训练的目标是最小化训练样本的预测误差

以均方误差为例（也叫欧氏距离）：;欧氏距离损失函数的梯度值;多元函数求导的链式法则;问题1;问题2;问题3;问题4;问题5：;;正向传播时的变换公式：;输出层：;隐含层正向传播时的变换：;反向传播算法;神经网络的训练算法可以总结为;工程实现问题

激活函数值，导数值，在正向传播的时候已经计算出来，存储备用

编程语???中的向量和矩阵按行存储，因此计算公式有所变化