机械故障诊断学 钟秉林 第7章神经网络诊断原理教程文件.ppt

第7章 神经网络诊断原理;一、概述; 与传统计算机的比较 ;一、概述;一、概述;人工神经网络发展简史;1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 ;1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(Back Propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 ;二、人工神经网络的拓扑结构及其学习规则;;; 生物神经元的主要功能与特点 ; 人工神经元;令：X=(-1, x1 , x2 ,…, xn )T Wj =(?j , wj 1 , wj 2 , wjn )T;;;;;;;;;;;;; 不含反馈的前向网络 ; 反馈网络 ;状态反馈网络;输出反馈网络 ;3. 人工神经网络的学习方式、规则及分类;3. 人工神经网络的学习方式、规则及分类;3. 人工神经网络的学习方式、规则及分类;3. 人工神经网络的学习方式、规则及分类; ANN的学习规则 ; 纠错规则 ;广义? 规则(BP学习规则)： ; 随机学习规则 ; 强化学习规则 ;三类学习规则： ; 无指导学习; ANN的分类;1. 感知器（Perceptron） ;;;多层感知器：;H?表示第?层的隐节点数。H0=N ;感知器特点： 网络输出仅与输入及网络权矩阵有关，输出为输 入的显式表达，由输入计算得到输出; 多层网络所有神经元的激活函数不能全部为线性 函数，否则，多层网络等效于单层网络。 ;感知器性能分析： 单层感知器的分类特性;; 单层感知器表示能力;;单层感知器的单一超平面判决边界决定了其只适用于线性可分问题。 高维时，线性可分性通常无法判别，因此，单层感知器通常用于简单的分类问题。 ; 多层感知器的分类特性;;;感知器学习算法： Hebb规则算法 ;Hebb规则算法步骤： ;;;Hebb??则de缺陷： 本质上不可能对隐层单元权重进行调节，因为隐单元的期望输出未知，因而不能应用于多层网络的学习； 对非线性可分问题，算法不收敛。 ; ?规则算法 ;根据梯度算法，权重W的修正量?W正比于当前W上 E 的梯度： ;上面权重修正公式也可表示为矩阵形式： ;写成矩阵形式有： ;梯度算法(?规则算法)的步骤与前面Hebb训练算法步骤类似，仅仅是误差表达式不同。 算法特点： 要求神经元激活函数可微，易于推广到非 线性激活单元 算法过程原理上永不停止,并逐渐接近最 优解，即?k不等于0。 当误差函数存在多个局部极小点时，一般 而言，梯度算法得不到全局最小解。 ;2. BP网络模型(Back Propagation) ;一个具有任意的压缩(Squashing)型激活函数（如Sigmoid函数、双曲正切函数等）的单隐层前向网络，只要有充分多的隐层单元，就能够以任意的精度逼近任意一个有限维的波莱尔可测函数(Borel measurable function)，从 而表明BP网络是一个通用的函数逼近器。 ; 考虑单样本学习的BP算法，定义网络的目标函数为： ;对于隐层至输出层权重W2： ;;一般，对于多于一个隐层的 BP 网络，最后一隐层与输出层之间的权重修正公式仍与上面第一个公式相同，其它层间权重修正公式可统一表示为： ;BP算法特点 ; 权重修正量只与该权重联接的两个相关量 （前一节点的输出； 后一节点的误差） 有 关，使得BP算法易于并行实现。 ;BP网络的应用中的几个实际问题 ; 输入尺度变换（归一化）和预处理 尺度变换常常将输入变换到[-1，1]或[0，1]的范围。一方面，避免由于输入变量数值相差过大，导致训练的困难。另一方面，避Sigmoid函数陷入饱和。 在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。 对数据的预处理包括检验其是否存在周期性、固定变化趋势或其它关系等。 ; 样本数量 一般说来数据越多，学习和训练的结果越能正确反映输入输出关系。但太多的数据将增加收集、分析数据以及网络训练所付出的代价，而太少的数据则可能得不到正确的结果。