数学建模 教程讲义 人工神经网络问题探索.ppt

第二章 人工神经网络基本模型 线性神经元模型通过一个阀值器件即可进行二值模拟输出，可以对线性可分模式进行分类： 设输入二元值（+1,-1），则Xk有2n个可能模式，如果对应的分类模式为两类(+1)、(-1)，则n个输入、一个输出的模型共可以有 种逻辑映射方式 ,根据Adaline模型的设计，只能进行线性划分： 如：（+1, +1） － +1 （+1, -1） － +1 （-1, -1） － +1 （-1, +1） － -1 第二章 人工神经网络基本模型 输入输出关系为：yk=WkT Xk 令yk为0，将输入分为两类，则有 通过对w0、 w1、 w2的适当调整，即可实现对输入模式的正确分类。 对于非线性划分模式(如“异或”问题)，根据Adaline模型则不能实现，但是可以对Adaline模型进行适当的改进 第二章 人工神经网络基本模型 (2)改进线性神经元模型 第二章 人工神经网络基本模型 令yk为0，将输入分为两类，则有 通过对w0、 w1、 w11、 w12、 w22、 w2的适当调整即可实现对输入模式的正确分类(非线性)。 椭圆形区域内部输出为＋1 椭圆形区域外部输出为－1 同理可以根据具体实际情况，对输入进行其他非线性改造，以适应非线性分类的需要。 第二章 人工神经网络基本模型 (3)线性神经网络模型 所谓线性神经网络模型，就是由若干线性神经元按照一定的连接方式构成的模型。如Madalines模型： ∑ x10 ∑ x20 x1 x1 W AND 第二章 人工神经网络基本模型 (4)线性神经网络学习算法 线性神经网络常用的学习算法为LMS算法，LMS算法的思想就是利用误差函数的最速下降原则，调整神经元的连接权，使神经元的实际输出与理想输出的差最小。 即 其中μ为训练参数， 为误差函数在当前的梯度 误差函数为 第二章 人工神经网络基本模型 其中：djk表示k时刻输出单元j的理想输出 ∑wijxik表示实际输出 记 定义瞬时梯度为 所以权值迭代公式为： 第二章 人工神经网络基本模型 LMS算法可以描述为： α为学习步长，εk为当前误差，|Xk|2为权值个数 代入，有 学习步长α决定了算法的稳定性和收敛性，一般取值为0.1 α1.0 第二章 人工神经网络基本模型 LMS算法的具体实现步骤： (1)初始化网络参数 (2)输入样本 (3)计算实际输出yk (4)如果εδ，则结束。否则下一步 (5)计算ΔW，更新W (6)返回第(2)步 例：参看教材P39 第二章 人工神经网络基本模型 (5)线性神经网络的MATLAB实现 在MATLAB神经网络工具箱中提供了基于线性神经网络的初始化函数initlin( )、设计函数solvelin( )、仿真函数simulin( )以及训练函数trainwh和adaptwh。 第二章 人工神经网络基本模型 初始化函数initlin( ) 函数initlin( )对线性神经网络初始化时，将权值和阀值取为绝对值很小的数。其使用格式 [w,b]=initlin(R,S) R为输入数，S为神经元数。 另外，R和S也可用输入向量P和目标向量t来代替， 即[w,b]=initlin(p,t) 第二章 人工神经网络基本模型 设计函数solvelin( ) 与大多数其它神经网络不同，只要已知其输入向量P和目标向量t，就可以直接设计出线性神经网络使得线性神经网络的权值矩阵误差最小。 其调用命令如下： [w,b]=solvelin(p,t); 第二章 人工神经网络基本模型 仿真函数simulin( ) 函数simulin( )可得到线性网络层的输出 a=simulin(p,w,b) 其中a为输出向量,b为阀值向量 第二章 人工神经网络基本模型 训练函数trainwh 和adaptwh( ) 线性神经网络的训练函数有两种：trainwh( )和adaptwh( )。其中函数trainwh可以对线性神经网络进行离线训练；而函数adaptwh( ) 可以对线性神经网络进行在线自适应训练。 利用trainw