机器学习原理与应用课件 第11章 人工神经网络.pptxVIP

第11章 人工神经网络1

学习目标理解神经网络基本原理。掌握神经网络数学模型与求解方法。掌握Scikit-learn库神经网络类库的使用方法。1223

目录页311.1基本原理11.2应用实例人工神经网络

神经网络最早是人工智能领域的一种算法或者说是模型，目前神经网络已经发展成为一类多学科交叉的学科领域，特别是随着深度学习取得的进展重新受到重视和推崇。为什么说是“重新”呢？其实，神经网络最为一种算法模型很早就已经开始研究了，但是在取得一些进展后，神经网络的研究陷入了一段很长时间的低潮期，后来随着Hinton在深度学习上取得的进展，神经网络又再次受到人们的重视。411.1基本原理

神经元模型神经元是神经网络的基本结构单元，设计灵感完全来源于生物学上神经元的信息传播机制。神经元有两种状态：兴奋和抑制。一般情况下，一个神经元处于“抑制”状态，当受到刺激并导致其电位超过一定阈值时就会被激活（转为“兴奋”状态），进而向其他的神经元传播化学物质（其实就是信息）。511.1基本原理

神经元主要由细胞体、树突和轴突三部分组成。其中，细胞体是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。树突是细胞体的伸延部分产生的分枝，是接受从其它神经元传入的信息的入口。轴突是细胞体突起的最长的外伸管状纤维（轴突最长可达1米以上），是把神经元兴奋的信息传出到其它神经元的出口。611.1基本原理

在结构上，神经元由求和与激活两部分功能构成，其中求和功能用于根据相关权重融合不同来源的信息或不同类型的特征，而激活功能则用于对求和结果进行非线性映射以确定输入与输出之间复杂的关系。711.1.1基本概念思考：如何表示此“神经元”的输入与输出映射关系？

根据神经元的结构，一个神经元的输出可作为另一个神经元的输入以连接成复杂的神经网络；神经网络一般由输入层、隐层与输出层三部分构成，每层根据问题需求可设置不同数量的神经元，同层神经元互不相连、层与层之间的神经元相互连接（全部或部分连接）。811.1.1基本概念

9如右图所示，左表示输入层,中表示隐层,右表示输出层。输入层、隐层与输出层分别包含2、3与2个神经元，输入层可接受包含两个特征的样本，而输出层对应两个类别。11.1.1基本概念神经网络结构

11.1.2数学模型10如何确定输入X与输出Y之间映射关系？Y=f(X)

11.1.2数学模型?11

11.1.2数学模型?12

11.1.2数学模型?13

11.1.2数学模型?14

BP（BackPropagation，误差逆传播）神经网络是1986年由鲁梅尔哈特（Rumelhart）和麦克莱兰（McCelland）为首的科研小组提出，是一种按误差逆传播算法训练的多层前馈网络。BP网络能学习和存储大量的输入-输出模式映射关系，而无须事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络学习过程由信号的正向传播与误差逆向反馈两个过程组成。1511.1.2数学模型

?1611.1.2数学模型

?1711.1.2数学模型

?1811.1.2数学模型

Scikit-learn导入多层感知机是至少含有一个隐藏层的神经网络，Scikit-learn库的导入方式如下：fromsklearn.neural_networkimportMLPClassifier（分类）fromsklearn.neural_networkimportMLPRegressor（回归）1911.2应用实例

函数原型主函数（回归与分类）为：mlp=MLPRegressor()/MLPClassifier(activation=‘relu’,hidden_layer_sizes=(50,50))2011.2应用实例

21常用参数名称说明hidden_layer_sizes隐层神经元与层次，如hidden_layer_sizes=(4,6)表示两个隐层（第1个隐层包含4个神经元，第2个隐层包含6个神经元）activation激活函数（默认值为relu），可选项为{identity,logistic,tanh,relu}。①identity：返回f(x)=x；无操作激活，对实现线性瓶颈很有用；②logistic：logisticsigmoid函数，返回f(x)=1/(1+exp(-x))；③tanh：双曲tan函数，返回f(x)=tanh(x)=(exp(-x)-exp(-x))/(exp(-x)+exp(-x))；④relu：整流后的线性单位函数，返回f(x)=max(0,x)solver优化