应用数学专业优秀论文 基于相对熵函数准则的bp算法收敛性分析.docVIP

应用数学专业优秀论文 基于相对熵函数准则的BP算法收敛性分析 关键词：反向传播算法 相对熵函数 前馈神经网络 网络收敛 摘要：前馈神经网络是目前神经网络理论中发展最完善、应用最为广泛的网络，其结构简单、可操作性强，能模拟任意的非线性输入输出关系。在实际应用中，大部分前馈网络采用误差反向传播算法(BP算法)，它的特点是解决了隐层引入以后的学习问题。误差反传算法实质上是非线性优化问题的梯度算法，故与生俱来就存在诸多缺陷，这些缺陷直接影响网络的性能。目前的研究重点主要集中在网络结构、网络权值学习算法、误差函数、以及相关的收敛性和稳定性等方面。 为了提高网络收敛速度，许多学者对误差函数的构造与应用进行了深入研究。N.B.Karayiannis提出了熵误差函数，以解决传统误差函数训练过程中存在的假饱和状态；S-H．Oh对熵误差函数进行修正，避免了N．B．Karayiannis提出的熵误差函数给出的误差信号过于强烈，常导致过学习的现象；MinghuJiang等再次肯定了熵误差函数在提高前馈神经网络学习算法收敛速度方面的作用，并对其进行了修正，然而形式过于复杂，不利于推广使用。 本文主要对基于相对熵函数准则的BP算法收敛性进行了讨论，并对学习率稍加改动以减小网络振荡的可能性。在满足文中假设条件情况下，对于典型的全连接的前馈型神经网络，利用基于相对熵函数准则的BP算法得到误差序列和权值序列；然后，利用引理得到了误差序列的单调性和收敛结果；最后得到了权值序列的弱收敛和强收敛结果，即基于相对熵函数准则的BP网络的弱收敛结果和强收敛结果。 正文内容 前馈神经网络是目前神经网络理论中发展最完善、应用最为广泛的网络，其结构简单、可操作性强，能模拟任意的非线性输入输出关系。在实际应用中，大部分前馈网络采用误差反向传播算法(BP算法)，它的特点是解决了隐层引入以后的学习问题。误差反传算法实质上是非线性优化问题的梯度算法，故与生俱来就存在诸多缺陷，这些缺陷直接影响网络的性能。目前的研究重点主要集中在网络结构、网络权值学习算法、误差函数、以及相关的收敛性和稳定性等方面。 为了提高网络收敛速度，许多学者对误差函数的构造与应用进行了深入研究。N.B.Karayiannis提出了熵误差函数，以解决传统误差函数训练过程中存在的假饱和状态；S-H．Oh对熵误差函数进行修正，避免了N．B．Karayiannis提出的熵误差函数给出的误差信号过于强烈，常导致过学习的现象；MinghuJiang等再次肯定了熵误差函数在提高前馈神经网络学习算法收敛速度方面的作用，并对其进行了修正，然而形式过于复杂，不利于推广使用。 本文主要对基于相对熵函数准则的BP算法收敛性进行了讨论，并对学习率稍加改动以减小网络振荡的可能性。在满足文中假设条件情况下，对于典型的全连接的前馈型神经网络，利用基于相对熵函数准则的BP算法得到误差序列和权值序列；然后，利用引理得到了误差序列的单调性和收敛结果；最后得到了权值序列的弱收敛和强收敛结果，即基于相对熵函数准则的BP网络的弱收敛结果和强收敛结果。 前馈神经网络是目前神经网络理论中发展最完善、应用最为广泛的网络，其结构简单、可操作性强，能模拟任意的非线性输入输出关系。在实际应用中，大部分前馈网络采用误差反向传播算法(BP算法)，它的特点是解决了隐层引入以后的学习问题。误差反传算法实质上是非线性优化问题的梯度算法，故与生俱来就存在诸多缺陷，这些缺陷直接影响网络的性能。目前的研究重点主要集中在网络结构、网络权值学习算法、误差函数、以及相关的收敛性和稳定性等方面。 为了提高网络收敛速度，许多学者对误差函数的构造与应用进行了深入研究。N.B.Karayiannis提出了熵误差函数，以解决传统误差函数训练过程中存在的假饱和状态；S-H．Oh对熵误差函数进行修正，避免了N．B．Karayiannis提出的熵误差函数给出的误差信号过于强烈，常导致过学习的现象；MinghuJiang等再次肯定了熵误差函数在提高前馈神经网络学习算法收敛速度方面的作用，并对其进行了修正，然而形式过于复杂，不利于推广使用。 本文主要对基于相对熵函数准则的BP算法收敛性进行了讨论，并对学习率稍加改动以减小网络振荡的可能性。在满足文中假设条件情况下，对于典型的全连接的前馈型神经网络，利用基于相对熵函数准则的BP算法得到误差序列和权值序列；然后，利用引理得到了误差序列的单调性和收敛结果；最后得到了权值序列的弱收敛和强收敛结果，即基于相对熵函数准则的BP网络的弱收敛结果和强收敛结果。 前馈神经网络是目前神经网络理论中发展最完善、应用最为广泛的网络，其结构简单、可操作性强，能模拟任意的非线性输入输出关系。在实际应用中，大部分前馈网络采用误差反向传播算法(BP算法)，它的