线性神经网络.ppt

使用工具箱函数： and_linearlayer.m ： 线性网络与感知器的对比 线性网络得到的分类面大致位于两类坐标点的中间位置，而感知器得到的分类面恰好穿过其中一个坐标点。线性神经网络鲁棒性强，优于感知器。 6.线性神经网络应用实例——与 添加非线性输入： 6.线性神经网络应用实例——异或 运行xor_linearlayer.m 6.线性神经网络应用实例——异或 使用Madaline：两个神经元 运行xor_madaline.m 谢谢大家！ * * 第5章 线性神经网络 编者 Outline 1.线性神经网络的结构 2.LMS学习算法 3.LMS算法中学习率的选择 4.线性神经网络与感知器的对比 5.线性神经网络相关函数详解 6.线性神经网络应用实例 1.线性神经网络的结构 线性神经网络最典型的例子是自适应线性元件（Adaptive Linear Element，Adaline）。 线性神经网络与感知器的主要区别在于，感知器的传输函数只能输出两种可能的值，而线性神经网络的输出可以取任意值，其传输函数是线性函数。 线性神经网络在收敛的精度和速度上较感知器都有了较大提高，但由于其线性运算规则，它也只能解决线性可分的问题。 1.线性神经网络的结构 线性神经网络在结构上与感知器网络非常相似，只是神经元传输函数不同。 1.线性神经网络的结构 若网络中包含多个神经元节点，就能形成多个输出，这种线性神经网络叫Madaline网络。 Madaline可以用一种间接的方式解决线性不可分的问题，方法是用多个线性函数对区域进行划分，然后对各个神经元的输出做逻辑运算。 1.线性神经网络的结构 线性神经网络解决线性不可分问题的另一个方法是，对神经元添加非线性输入，从而引入非线性成分，这样做会使等效的输入维度变大。 2.LMS学习算法 LMS算法与感知器网络的学习算法在权值调整上都基于纠错学习规则，但LMS更易实现，因此得到了广泛应用，成为自适应滤波的标准算法。也称为 规则 采用均方误差作为评价指标 是输入训练样本的个数。线性神经网络学习的目标 是找到适当的 ，使得误差的均方差最小。只要用对 求偏导，再令该偏导等于零即可求出 的极值。显然， 必为正值，因此二次函数是凹向上的，求得的极值必为极小值。 2.LMS学习算法 误差表示为 求导 误差等于期望输出—实际输出 求导 代入，有： 权值的修正值正比于当前位置上的梯度 2.LMS学习算法 （1）定义变量和参数。 （2）初始化。给向量赋一个较小的随机初值 。 （3）输入样本，计算实际输出和误差。 （4）调整权值向量。 （5）判断算法是否收敛。若满足收敛条件，则算法结束 ，否则跳转到第3步重新计算。 3.LMS算法中学习率的选择 学习率越小，算法的运行时间就越长，算法也就记忆了更多过去的数据。因此，学习率的倒数反映了LMS算法的记忆容量大小。 1996年Hayjin证明，只要学习率满足下式，LMS算法就是按方差收敛的 ：输入向量自相关矩阵的最大特征值 一般不可知，用矩阵的迹代替，迹就是主对角线元素之和。 3.LMS算法中学习率的选择 自相关矩阵的主对角线元素就是各输入向量的均方值 ，故： 在感知器学习算法中曾提到，学习率随着学习的进行逐渐下降比始终不变更加合理。 反比例函数 指数式下降 有哪些信誉好的足球投注网站—收敛方案 4.线性神经网络与感知器的对比 网络传输函数。感知器传输函数是一个二值阈值元件，而线性神经网络的传输函数是线性的。这就决定了感知器只能做简单的分类，而线性神经网络还可以实现拟合或逼近。 学习算法 。LMS算法得到的分类边界往往处于两类模式的正中间，而感知器学习算法在刚刚能正确分类的位置就停下来了，从而使分类边界离一些模式距离过近，使系统对误差更敏感。 5.线性神经网络相关函数详解 net=newlind(P,T) P：R*Q矩阵，包含Q个训练输入向量。 T：S*Q矩阵，包含Q个期望输出向量。 net:训练好的线性神经网络 newlind——设计一个线性层 newlind函数返回的net已经训练完毕，不需要再自行调用train函数训练 5.线性神经网络相关函数详解 x=-5:5; y=3*x-7; % 直线方程为 randn(state,2); % 设置种子，便于重复执行 y=y+randn(1,length(y))*1.5; % 加入噪声的直线 plot(x,y,o); P=x;T=y; net=newlind(P,T); % 用newlind建立