神经网络.ppt

神经网络 训练和学习 多层感知器的学习算法（反向传递算法） * * 训练：分有师、无师两大类。 有师训练认为：由K个训练样本对 构成训练样本对集，训练好的网格权矩阵 也就固定下来。 无师训练认为：训练样本集中只有输入信号x,没有目标信号d, 网格可以自行将输入矢量组织或分类。 　　　训练和学习是一个事情的两个方面，比如让猴子拉车，对猴子 来说是个学习的过程，对耍猴的人来讲是训练动物的过程，在ANN中， 训练和学习都指寻找一个合适权矩阵的一种步骤或过程。 为什么要进行学习 ？ 网络学习的准则应该是：如果网络作出错误的的判决， 则通过网络的学习，应使得网络减少下次犯同样错误的可能性。 首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减 小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A” 模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络 轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。 能够通过学习改变权值，达到预想的目的是神经网络的突出特点。 Ⅰ.乘积学习规则 考虑一个单层线性神经网络，其输入信号矢量是n维 输出向量是m维： 寻找权矩阵 非常重要。 ⑴给定一个训练样本对权矩阵的设计 将b规格化，即 它意味着 局部的由 ⑵给定多个训练样本对时权矩阵的设计 假设各 彼此正交，即 以上推导，输入矢量正交性是关键条件，如非正交但线性独立，可用施密特正交法，构造正交输入矢量组。 缺陷：①输入矢量必须正交； ②训练对的数目不能大于输入矢量的 维数。 Ⅱ、关联学习（Hebb） 时刻 活化态值； 时刻 活化态值； 学习速率系数； 连接权强度的变化。 以上方法因为只与两个神经元有关，所以称为“关联学习”。 局限性与改进： 使用输出信号 为t时刻 的输出信号， 为t时刻 的输出信号。 原因在于：线性神经元表达能力有限，要扩展神经网络性能必须采用 用非线性神经元。 线性网络的差值规则训练法 权矩阵初始值 任意设定，输入的 得实际输出 它与目标输出的误差为： 为了消除这一误差，希望将权阵调整为 ，使满足 为此取 基本差值规则训练法的表达式： 准线性元网络的差值规则 最常用的准线性元函数为S型（挤压）函数 S 形函数之所以被广泛应用，不仅因为它可微，还由于它具有单调连 续、取值在0到1之间等优良性质。 前馈网络 前馈网络中最重要的两种是：①多层前馈网络(MLP网)；②径向基函数网络（RBF网）。多层前馈网络（MLP）更常用的名字是以其学习算法命名的反向传递网络（BP网） 多层前向网络属于静态网络，即其输出仅仅与当前输入有关，而与过去无关，换言之，它是一种无记忆网络，也是有师训练网络。所谓有师训练（学习），是指给出一些输入---输出样本对（ ） 并训练网络使之尽可能的拟合这些样本，这些样本对通常称为训练样本对。 无师训练网络，只需要输入样本 ，无需给出对应的输出 ，网络会 自动把输入样本按自相似程度分类。 静态网络以ＭＬＰ网与RBF网最具代表性，应用也最广泛，它们可以实现逻辑函数、模式识别、函数逼近。 多层前馈网 感知器 感知器是Rosenblatt于1958年提出的，只有一个神经元，是最简单的网络模型，也是最基本的网络模型。 输入为n维向量，将各输入分量加权求和并另加一个偏置 感知器完成的运算： 单层感知器M—P模型 感知器的基本作用 Ⅰ、用来进行模式识别 凡具有线性边界的两类模式的识别问题均可用感知器解决，而那些具有非线性边界的模式识别问题则需用MLP解决。 Ⅱ、用来实现逻辑函数 可将感知器看做一个二值函数，它能实现布尔代数的某些基本