单层前向网络及LMS学习算法.ppt

第 2 章 单层前向网络及LMS学习算法 2.1 单层感知器 2.2 自适应线性神经网络 2.3 LMS学习算法 2.1单层感知器 2.1.1 单层感知器模型 2.1.2 单层感知器的学习算法 2.1.1 单层感知器模型 单层感知器模型 感知器的神经元的突触权值是可变的，这样就可以进行学习。 单层感知器模型 使用单层感知器的目的就是让其对外部输入x1, x2, …, xm进行识别分类，单层感知器可将外部输入分为两类l1和l2。关键在于寻求权值向量wij和偏差值b。 2.1.2 单层感知器的学习算法 单层感知器对权值向量的学习算法是基于迭代的思想，通常是采用纠错学习规则的学习算法。 为方便起见，将偏差b作为神经元突触权值向量的第一个分量加到权值向量中去，那么对应的输入向量也应增加一项，可设输入向量的第一个分量固定为+1，这样输入向量和权值向量可分别写成如下的形式： 其中的变量n表示迭代次数，其中的b(n)可用w0(n) 表示，则感知器的输入可重新写为： 令上式等于零，即可得在m维信号空间的单层感知器的判决超平面。 单层感知器的学习算法： 第一步：设置变量和参量： X(n)= [1, x1(n), x2(n), …, xm(n)]T为输入向量，或称训练样本； W(n)= [b(n), w1(n), w2(n), …, wm(n)] T 为权值向量； b(n) 为偏差；y(n)为实际输出； d(n)为期望输出；η为学习速率；n为迭代次数。 单层感知器的学习算法 第二步：初始化，n = 0，赋给W(n) =[b(n), w1(n), w2(n), …, wm(n)] T各项一个较小的随机非零值 ； 第三步：对于一组输入样本X(n)= [1, x1(n), x2(n), …, xm(n)] T ，指定它的期望输出（亦称为导师信号）。 第四步：计算实际输出： 单层感知器的学习算法 第五步：调整感知器的权值向量： 第六步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 单层前向网络 实现“与”逻辑函数的NN 单层感知器的Matlab实例程序 2.2 自适应线性神经网络ADALINE ADALINE的训练过程与感知器类似： 计算输出向量A=W*P+B，以及与期望值之间的误差E=T-A。（任意值，非二进制数值） 如果E小于期望误差，或者训练次数达到最大次数，则停止训练，否则继续训练。 训练方法仍然采用LMS算法: 2.3 LMS学习算法 LMS(Least Mean Square Error) ：最小均方误差学习算法，基于负梯度下降原则减少训练误差。 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似，它们都是基于纠错学习规则的学习算法。 而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛的应用，成为自适应滤波的标准算法。 LMS学习算法 设e(n)为在时刻n时的误差信号，E(W)为代价函数： X(n)、W(n) 都为列向量。 对上式两边求关于权值向量W的导数可得： LMS算法 第一步：设置变量和参量： X(n)= [1, x1(n), x2(n), …, xm(n)]为输入向量，或称训练样本； W(n)= [b(n), w1(n), w2(n), …, wm(n)]为权值向量； b(n) 为偏差；y(n)为实际输出；d(n)为期望输出； η为学习速率；n为迭代次数。 第二步：初始化，赋给Wj(0)各一个较小的随机非零值， n = 0； LMS算法（续） 第三步：对于一组输入样本X(n)= [1, x1(n), x2(n), …, xm(n)]和对应的期望输出，计算： 第四步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 * 判别边界 对于线性可分的两类模式，单层感知器的学习算法是收敛的。 bw1 x1 x2 x1 x2 v=w1·x1＋w2·x2－b 条件 0 0 0 v=w1·0＋w2·0－b0 b0 0 1 0 v=w1·0＋w2·1－b0 bw2 1 0 0 v=w1·1＋w2·0－b0 1 1 1 v=w1·1＋w2·1－b≥0 b≤w1＋w2 可解。比如取w1=1，w2=1，b=1.5。 “与”逻辑函数的功能实现 “与”运算图示，线性可分，可以实现 “或”