常见的2人工神经网络基础知识.ppt

前馈层次型 前馈层内互连型 输入输出有反馈的前馈层次型 反馈全互连型 反馈局部互连型 神经网络的拓扑结构是决定神经网络特性的第二大要素。 典型前馈网络应用 典型反馈网络应用 神经网络的开发工作分两个阶段: 学习阶段(期):也称自适应期或设计期,通过学习样本或其他方法训练权矩阵; 工作阶段(期):各连接权成熟(不再改变),求解实际问题,单元状态变迁,以求达到稳态解. 2.5人工神经网络的学习 人类具有学习能力,人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。学习可定义为：“根据与环境的相互作用而发生的行为改变，其结果导致对外界刺激产生反应的新模式的建立”。 学习过程离不开训练,学习过程就是一种经过训练而使个体在行为上产生较为持久改变的过程.例如,游泳等体育技能的学习需要反复的训练才能提高,数学等理论知识的掌握需要通过大量的习题进行练习.一般来说,学习效果随着训练量的增加而提高,这就是学习的进步. 网络的运行一般分为学习（训练）和工作两个阶段。学习的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用。 学习的神经机制,涉及神经元如何分布、处理和存储信息等。这样的问题单用行为研究是不能回答的，必须把研究深入到细胞和分子水平。每一种心理功能，如记忆与思想，均归因于神经细胞组群的活动。大脑中，功能性的神经元连接、突触的形成是关键，医学研究表明：神经元之间的突触联系，其基本部分是先天就有的，但其他部分是由于学习过程中频繁地给予刺激而成长起来的。突触的形成、稳定与修饰等均与刺激有关，随外界给予的刺激性质不同，能形成和改变神经元的突触联系。 神经网络的全体连接权值可用一个矩阵W表示，其整体内容反映了神经网络对于所解决问题的知识存储，神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望输出。这一过程称为神经网络的学习或训练，其本质是对可变权值的动态调整。 把修正权值的算法称为学习规则（学习算法等）。对单个处理单元，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调整后的权值矩阵W中。 神经网络具有学习功能是其最主要的特征之一,各种学习算法的研究在ANN理论与实践发展过程中起着重要作用. 人工神经网络的学习和计算机的机器学习有类似的分类，一类有导师学习(从例子中学习)，一类无导师学习,还有一类为死记式学习。在ANN中，学习规则是修正权的一个算法，以获得满意的系统性能。 现有的学习规则大体上可分为以下几类： （1）有导师学习规则(纠错规则) 依赖关于输出节点的外部反馈来改变权系数，使实际结点的输出与外部的期望输出相一致,即有导师学习规则。从方法上看，基于或等效于梯度下降方法，通过在局部最大改善的方向上，按照小步逐次进行修正，力图达到表示函数功能问题的全局解，但不能保证得到全局最优解，同时还要求有大量的训练样本，因而收敛速度变慢。此外，这种规则对样本的表示次序变化比较敏感。 （2）无导师学习规则 学习表现为自适应于输入空间的检测规则。该规则的关键在于调整参数以反映观察事件的分布，即是将事件空间分类成输入活动区域，并有选择地对这些区域响应。 （3）死记式学习(相关规则) 仅根据连接之间的激活水平改变权系数。常用于自联想网络，执行特殊记忆状态的死记式学习。 现在将要分别介绍常用的、基本的学习规则。 可以认为，一个神经元是一个自适应单元，其权值可以根据它所接受的输入信号、它的输出信号以及对应的监督信号进行调整。日本著名神经网络学者Amari于1990年提出一种神经网络权值调整的通用学习规则，该规则的图解表示见下图。 图中的神经元j是神经网络中的某个节点，其输入用向量X表示，该输入可以来自网络外部，也可以来自其他神经元的输出。 第i个输入与神经元j的连接权情用wij表示，连接到神经元j的全部权值构成了权向量Wj。应当注意的是，该神经元的阈值，对应的输入分量x0恒为-1。图中，r＝r(Wj，X，dj)称学习信号，该信号通常是W和X的函数，而在有导师学习时，它也是教师信号dj的函数。通用学习规则可表达为：权向量Wj在t时刻的调整量ΔWj（t）与 t时刻的输入向量X（t）和学习信号 r的乘积成正比。用数学式表示为 ΔWj（t）=ηr[Wj（t）,X(t),dj(t)]X（t） ΔWj（t）=ηr[Wj（t）,X(t),dj(t)]X（t） 式中