神经网络预测法.pptxVIP

数学建模系列讲座基于神经网络的预测与分类万 敏理学院什么是数学建模将实际问题翻译成一个数学问题，用数学方法及计算机工具加以求解。用于描述实际问题的数学结构，称为数学模型；建立数学模型并加以求解的整个过程称为数学建模。二、无导师学习神经网络的原理； matlab实现； 竞争神经网络、SOFM在分类、聚类中的应用一、有导师学习神经网络的原理； matlab实现； BP、RBF在预测、分类中的应用; PNN在分类中的应用人工神经网络产生背景机器智能 研究怎样用机器（计算机）模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。人工神经网络 是机器智能的一部分，它模拟大脑的神经系统，更简单的说，就是人脑神经系统的一个数学模型大脑神经系统 大脑内约含1000亿个神经元神经系统是由这些神经元经过高度的组织与相互作用而构成的复杂的网络 特征：神经元+相互作用突触突触突触突触突触突触是可变的神经元与神经元之间如何相互作用（传递信息）？依赖于突触的联接！突触的联接会受外界信息的影响或自身生长过程的影响而变化。正是通过神经元及其突触联接的可变性，使得大脑具有学习、记忆和认知等各种智能。神经元模型 连接权值w对应于突触神经元模型完成输入-输出的非线性映射，有三个关键激活函数连接权值求和单元激活函数权值阈值多输入单输出输入-输出关系净输入其中，这些非线性函数具有两个显著的特征，一是突变性，二是饱和性，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性常见的几类激活函数神经网络分类无反馈网络：前馈神经网络有反馈网络：递归神经网络连接神经元神经元人工神经网络＝神经元＋连接人工神经网络神经网络的结构前馈神经网络输入--输出关系？递归神经网络特点：神经元之间有反馈连接单个神经元权值多输入单输出输入-输出关系净输入其中，输入-输出关系：单层前馈神经网络多层前馈神经网络权值， 求和，激活函数隐含层输出层输入层隐含层输入-输出关系：人工神经网络一、网络结构1、输入神经元数，输出神经元个数2、隐层数，每个隐层中神经元个数3、每个神经元的激活函数f输入-输出关系ap神经网络二、前馈神经网络的学习这类网络模型 怎样实现分类、识别、预测等智能行为？通过学习！改变连接权值W！通过样本更新权值和阈值以识别苹果和香蕉为例期望输出训练样本：输入关键：调整权值ap神经网络期望输出t=1---苹果t=0---香蕉输入：苹果或香蕉期望输出（向量）训练样本：输入（向量）基本思想：对样本对（输入和期望输出）进行学习；将样本的输入送至神经网络，计算得到实际输出；若实际输出与期望输出之间的误差不满足精度要求，则调整权值W和阈值b，逐渐减小误差，直至满足精度要求。有导师的学习输出目标训练样本输入p神经网络aW(old)W(new)学习过程：通过样本更新权值和阈值学习网络的学习：通过样本不断调整权值学习好以后的网络：权值不再改变，所学的知识存储在权值中学习好以后的网络进行预测、分类等等下面将给出三种典型的有导师学习的神经网络：BP,RBF,PNNBP（反向传播）神经网络原理误差反向传播(学习算法)jikx1-+x2xnwkiwijqML输入层隐含层输出层信息流一、结构1、多层前馈网络：前、后层之间各神经元实现全联接；同一层的神经元之间无联接。2、输入输出关系：激活函数通常采用S形函数，如logsig，tansig函数；输出层激活函数多采用purelin函数。3、理论上，具有一个隐含层的BP网络可以以任意精度逼近任意非线性函数。 二、BP网络的学习算法训练样本 BP网络的学习算法是典型的有导师学习算法：将样本输入神经网络，得到网络的实际输出，若输出值与期望输出之间的误差不满足精度要求，则从输出层反向传播该误差，从而调整权值及阈值，使得网络的输出和期望输出间的误差逐渐减小，直至满足精度要求。学习过程：信号前向传播+误差反向传播Forward Propagation二、BP网络的学习1、信号前向传播paBP神经网络2、误差反向传播均方误差（单输出）均方误差（多输出）训练样本：梯度下降法：权值阈值的调整沿着误差函数下降最快的方向——负梯度方向误差反向传播 第m层的灵敏度Weight UpdateBP网络的学习算法（梯度下降法）BP学习过程 Step1 选定样本,p=1,…,P, 随机确定初始权矩阵W（0）Step2 利用样本计算网络输出，得到误差Step3 利用误差反向计算每一层的sensitivty，更新权值和阈值。直到误差满足精度要求。BP网络学习算法的改进 BP算法缺点小结易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，其中基于LM