生物-神经元.ppt

生物神经元 生物神经网络 生物神经网络工作机理1 生物神经网络工作机理2 生物神经元的六个基本特征 神经网络的定义 神经网络模拟人脑的四个方面 构造人工神经元的要求 人工神经元的构造方法 人工神经元的网络输入 激活函数(激励函数、活化函数) 激活函数的种类 S型激活函数的特性 人工神经元，M-P模型 人工神经网络的简化画法 简单单级网 简单单级网的输入输出 多级网 多级网的几个约定 非线性激活函数 网络模式的概念 空间模式与时空模式 人工神经网络的训练 人工神经网络的无导师训练 无导师训练的Hebb算法 人工神经网络的有导师训练 有导师训练算法 离散单输出感知器(M-P模型) 离散单输出感知器(M-P模型)训练算法 离散多输出感知器 离散多输出感知器训练算法 连续多输出感知器 连续多输出感知器训练算法 “异或”运算真值表 感知器无法实现“异或”运算 线性不可分问题的克服 多层网络权重确定的难题 BP算法的基本思想 BP算法的基本特征和意义 BP网络的构成—神经元 BP网络的构成—神经元的激励函数 BP网络的构成—网络的拓扑结构 BP网络拓扑结构的几点注意事项 BP网络训练过程 精度要求控制 误差传播分析----输出层权的调整 误差传播分析----隐藏层权调整的困难 基本的BP算法 x1 x2 xn w11 o1 o2 om 输出函数改为非解跃函数，使它们的输出值变成连续的， 使网络更具一般性，更容易适应实际应用的需求，但拓扑 结构仍然不变。 1、用适当的小伪随机数初始化权向量W; 3.1、d=0； 3.2、for 每个样本(X,Y) do； 3.2.1、输入X 2、设置精度控制参数 ,学习率 、精度控制变量d=1+ 3、while d= do 3.2.2、求O=F(XW) 3.2.3、修改权矩阵W for i=1 to n, j=1 to m do wij= wij + (yj-oj)xi 3.2.4、累积误差 for j=1 to m do d=d+(yj-oj)2 “异或”运算是计算机领域最基本的运算： g(x,y) 运算对象y 运算对象x 0 1 0 0 0 1 1 1 异或运算的真值表 1 o 1 y w1x+w2y= 0 if x=y “异或”运算的定义：g(x,y)= 即g(x,y)=xy xy 1 其他 如果要实现“异或”运算则 w1+w2- =0 0+0- =0 W1+0- 0 0+w2- 0 显然，上述方程无解 增加网络的层数可以解决感知器线性不可分的问题 理想输出与实际输出之差被直接用来估计直接达到该 神经元的联结的权重的误差。为了解决线性不可分问题 而引入的多级网络后，如何估计网络隐藏的神经元的误 差就成了难题。因为在实际应用中，无法知道隐藏层任 何神经元的理想输出值。 BP(Back Propagation)算法利用输出层的误差来估计输出层 的直接前导层的误差，再用这个误差估计更前一层的误差， 如此下去，就获得了所有其他各层的误差估计。（1986提出） BP(Back Propagation)算法又称为向后传播算法。 使用BP算法进行学习的多级非循环网络称为BP网络。 BP算法是非循环多级网络的训练算法。 BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。 BP算法的出现结束了多级神经网络没有训练算法的历史，对 神经网络的第二次高潮的到来起到很大的作用。 BP算法具有广泛的适用性。 X=(x1 , x2 , … , xn) W=(w1, w2, …, wn) net=?xiwi net=XW 神经元网络输入： x1 x2 xn net=XW w1 w2 wn ? 按照算法要求，神经元的激励函数必须是处处可导的 通常取S型函数： x1 x2 xn net=XW w1 w2 wn ? o=f(net) 1 o=f(net)= 1+e-net f’(net)=o(1-o) net o (0,0.5) (0,0) BP算法适用于非循环多级网络的训练 x1 x2 xn o1 o2 om . . . 但在说明BP算法的具体原理时，只需一个二级网络 x1 x2 xn o1 o2 om 设网络有n层，第h(1=h=n)层神经元的个数为Lh, 该