前向人工神经网络敏感性研究.ppt

Thereexistsanoptimalvalueforthenumberofneuronsinalayer,whichyieldsthehighestsensitivityvalue.Theneareralayertotheoutputlayeris,Themoreeffectthenumberofneuronsinthelayerhas.SensitivityofMLPs:{2-2-n-1|1?n?10}tothenumberofneuronsinthe2ndlayer.EffectsofthenumberoflayersSensitivityofMLPs:{2-1,2-2-1,..,2-2-2-2-2-2-2-2-2-2-1}tothenumberoflayers. Sensitivitydecreaseswiththenumberincreasing,andthedecreasealmostlevelsoffwhenthenumberbecomeslarge.************前向人工神经网络敏感性研究神经元–离散型：自适应线性元（Adaline）–连续型：感知机（Perceptron）神经网络–离散型：多层自适应线性网（Madaline）–连续型：多层感知机（BP网或MLP）1.前向神经网络(FNN)介绍一.引言2.研究提出问题–硬件精度对权的影响–环境噪音对输入的影响动机–参数的扰动对网络会产生怎样影响？–如何衡量网络输出偏差的大小？建立网络输出与网络参数扰动之间的关系分析该关系，揭示网络的行为规律量化网络输出偏差3.研究内容03研究其它网络课题的基础，如网络结构的 裁剪和参数的挑选等02度量网络性能，如容错和泛化能力01指导网络设计，增强网络抗干扰能力4.研究意义二.研究纵览（典型方法和文献）Madaline的敏感性 ●n维几何模型（超球面） M.Stevenson,R.Winter,andB.Widrow, “SensitivityofFeedforwardNeuralNetworks toWeightErrors,”IEEETrans.onNeural, Networks,vol.1,no.1,1990. ●统计模型（方差） S.W.Piché,“TheSelectionofWeight AccuraciesforMadalines,”IEEETrans.on NeuralNetworks,vol.6,no.2,1995.J.Y.ChoiC.H.Choi,“SensitivityAna- lysisofMultilayerPerceptronwithDiffer- entiableActivationFunctions,”IEEETrans. onNeuralNetworks,vol.3,no.1,1992.统计方法（标准差）分析方法（偏微分）S.Hashem,“SensitivityAnalysisforFeed- ForwardArtificialNeuralNetworkswith DifferentiableActivationFunctions”,Proc. ofIJCNN,vol.1,1992.2.MLP的敏感性A.P.Engelbrecht,“ANewPruningHeuristic BasedonVarianceAnalysisofSensitivity Information”,IEEETrans.onNeural Networks,vol.12,no.6,2001.网络结构裁减输入属性筛选J.M.Zurada,A.Malinowski,S.Usui, “PerturbationMethodforDeletingRedundant InputsofPerceptronNetworks”, Neurocomputing,vol.14,