人工智能-BP神经网络算法的简单实现教材.docx

人工神经网络是一种模仿人脑结构及其功能的信息处理系统，能提高人们对信息处理的智能化水平。它是一门新兴的边缘和交叉学科，它在理论、模型、算法等方面比起以前有了较大的发展，但至今无根本性的突破，还有很多空白点需要努力探索和研究。1人工神经网络研究背景神经网络的研究包括神经网络基本理论、网络学习算法、网络模型以及网络应用等方面。其中比较热门的一个课题就是神经网络学习算法的研究。近年来己研究出许多与神经网络模型相对应的神经网络学习算法，这些算法大致可以分为三类：有监督学习、无监督学习和增强学习。在理论上和实际应用中都比较成熟的算法有以下三种：(1) 误差反向传播算法(Back Propagation，简称BP 算法)；(2) 模拟退火算法；(3) 竞争学习算法。目前为止，在训练多层前向神经网络的算法中，BP 算法是最有影响的算法之一。但这种算法存在不少缺点，诸如收敛速度比较慢，或者只求得了局部极小点等等。因此，近年来，国外许多专家对网络算法进行深入研究，提出了许多改进的方法。主要有：(1) 增加动量法：在网络权值的调整公式中增加一动量项，该动量项对某一时刻的调整起阻尼作用。它可以在误差曲面出现骤然起伏时，减小振荡的趋势，提高网络训练速度；(2) 自适应调节学习率：在训练中自适应地改变学习率，使其该大时增大，该小时减小。使用动态学习率，从而加快算法的收敛速度；(3) 引入陡度因子：为了提高BP 算法的收敛速度，在权值调整进入误差曲面的平坦区时，引入陡度因子，设法压缩神经元的净输入，使权值调整脱离平坦区。此外，很多国内的学者也做了不少有关网络算法改进方面的研究，并把改进的算法运用到实际中，取得了一定的成果：(1) 王晓敏等提出了一种基于改进的差分进化算法，利用差分进化算法的全局寻优能力，能够快速地得到BP 神经网络的权值，提高算法的速度；(2) 董国君等提出了一种基于随机退火机制的竞争层神经网络学习算法，该算法将竞争层神经网络的串行迭代模式改为随机优化模式，通过采用退火技术避免网络收敛到能量函数的局部极小点，从而得到全局最优值；(3) 赵青提出一种分层遗传算法与BP 算法相结合的前馈神经网络学习算法。将分层遗传算法引入到前馈神经网络权值和阈值的早期训练中，再用BP 算法对前期训练所得性能较优的网络权值、阈值进行二次训练得到最终结果，该混合学习算法能够较快地收敛到全局最优解；(4) 胡洁等提出一种快速且全局收敛的神经网络学习算法，并且对该优化算法的全局收敛性进行分析和详细证明，说明提出的算法比标准的算法效率更高且更精确。尽管国内外的很多学者对BP 算法进行了改进，但这些算法只有在某些特定要求下才有效，并且对网络训练时要加强对网络的监控，网络的结构和参数是要通过多次的试验才能确定，这些都导致了网络训练时间的增加，降低了网络收敛速度。因此，还需要进一步研究神经网络学习算法，提高网络收敛速度，使网络能够更好地应用于实际。2神经网络基础2.1人工神经网络概念2.1.1生物神经元模型生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约有1010一10，‘个。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其连接的可塑性，使得大脑具有学习、记忆和认知等各种智能。人工神经网络的研究出发点是以生物神经元学说为基础的。生物神经元学说认为，神经细胞即神经元是神经系统中独立的营养和功能单元。其独立性是指每一个神经元均有自己的核和自己的分界线或原生质膜。生物神经系统包括中枢神经系统和大脑，均是由各类神经元组成。生物神经元之间的相互连接让信息传递的部位称为突触(SynaPse)。突触按其传递信息的不同机制，可分为化学突触和电突触，其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。神经元是基本的信息处理单元。它主要由树突、轴突和突触组成。其结构大致描述如图1所示。图1生物神经元结构2.1.2神经网络模型目前人们提出的神经元模型己有很多，其中提出最早且影响最大的是1943年心理学家McCulloch和科学家W.PittS在分析总结神经元基本特性的基础上首先提出的M一P模型，如图2所示，它是大多数神经网络模型的基础。图2 模型Wji—代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权;Ui—代表神经元i的活跃值，即神经元状态;Vi—代表神经元j的输出，即是神经元i的一个输入;θj—代表神经元的阀值。函数f表达了神经元的输入输出特性。在M-P模型中，f定义为阶跳函数:2.1.3神经网络结构神经网络的网络结构可以归为以下几类:l)前馈式网络:该网络结构是分层排列的，每一层的神经元输出只与下一层神经元连接。2)输出反馈的前馈式网络:该网