一种前馈神经网络算法(论文).pdfVIP

i●ZHONGGUOKEJ1AOBOLAN圈￡●圈■ 维普资讯 一 种前馈神经网络算法 王 IjIj霞 (江西理工大学机电工程学院，江西 赣州 341000) 摘 要：神经网络 由于其非线性处理能力强。性能稳定等特点得到了广泛应用和研究。主要应用 于模式识别、信号处理 知识工程、专家系统、优化组合、机器人控制等 神经网络中使用最为广泛 的就是前馈神经网络 其网络权值学习算法中影响最大的就是误差反向传播算法 (back—propagation 简称BP算法)BP算法存在局部极小点，收敛速度慢等缺点。基于优化理论i~Levenberg—Marquardt 算法忽略了二阶项 该文讨论当误差不为零或者不为线性函数即二阶项 s(w)不能忽略时的Hesse矩 阵的近似计算，进而训练网络 关键词：神经网络；误差反向传播算法；Hesse矩阵 中图分类号：TP312 文献标识码：A 文章编号：1811—8755(2004)0802 l 引 古 人 I：}jlI绎I叫络系统从 20世纪40lfit木诞 I 今仪 个多世纪，但由J所具有的非线性特性，大 量的片行分 j结构以及学习和 纳能力使其红往卡j!』识川、 处‘ 、知识 J 、 家系统、优化乡¨ 、 机 人 制等领域 剑越术越f泛‘得 用，尼其足前馈神经 络。国内外研究的重点_卡要集中在 网络权值学 算法，以荠雨数利网络结构等。网络仪值的学爿算法rf1影响最人的就是误差反向传播算 法 (back．propagation简称 BP算法)。该方法 fl向传播 误差反向传播两个过 组成。由皿P算法 存任局部极小点，收敛速度慢等缺点，所 以各种改进的BP算法纷纷山现。如r，J变‘的学爿速率，以提 高算法的收敛速度，刈 ‘uj 极小点 题，}多研究晕点足神经刚络与进化算法Il结合。进化汁算其 固有的伞局有哪些信誉好的足球投注网站能力，U以‘保证经过足够多进化代数总能找到伞 最仃解。基 J优化 沦可以给出许多 权值学习算法，如 轭梯度法利 Levenberg．Marquardt算法 (简称LM算法)。很多研究和应用L}1都 加证明的认为LM算法 有令 阶收敛性。Lj{=实上， 有~51Hesse矩阵的 阶项 S(w1趋 J零时， 能戍用 LM 算法 ，否则劂络洲练1能收敛很慢或不收敛。 该文讨论 1误差不为零或芹 为线性函数 阶项 S(w)不能忽Ⅲ}}时的Hesse矩阵的近似汁 算，进而洲练 络。该 法有较好的收敛特性 I稳定一。 2 酊馈}III经 络算法 2．1 向汁算 典型前馈}III经删络的结构包括输入 ，隐 ，输出层，各 之问实行全互连接，层内神经元之问 无连接。 设 络J L层，包括输入 ，隐层和输出怯第， J有 ，个神经几：-44I-点，，层第 i个神经儿和 l+1 第j个}IlI经 ／已的连接十义为W，，(，)，， 第J个神经兀输出为Y，(，)，，层输出为 111 ． I ， (，)=∑J，(『／一1)w，，(，一1) )