第五章：神经网络理论基础.ppt

第五章：神经网络理论基础;神经生理学和神经解剖学证明，人的思维是由脑完成的。 神经元是组成人脑的最基本单元，能够接受并处理信息。 人脑约由101l~1012个神经元组成，每个神经元约与104~105个神经元通过突触联接，形成错纵复杂而又灵活多变的神经网络。 虽然，每个神经元都比较简单，但是，如此多的神经元经过复杂的联接却可以演化出丰富多彩的行为方式。 人脑是一个复杂的信息并行加工处理巨系统。 探索脑组织的结构、工作原理及信息处理的机制，是整个人类面临的一项挑战，也是整个自然科学的前沿。 ;§5.1　引言;§5.1　引言;§5.2　神经网络模型;图5.2.1是两个生物神经元的连接情况 ;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型; ;(3) 对称型阶跃函数 ;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;§5.2　神经网络模型;一、神经网络的工作过程 ;二、神经网络的特点 ;是存贮在一个地方，而是分布在不同的位置。即特定的信息不是存贮在神经网络的某一部分，而是分布在网络中所有神经元之间的连接权值上。这种分布式存贮方式的优点是当神经网络的局部受损时，仍具有恢复原来信息的能力。 ;神经网络中各神经元之间的权值可以事先定出，也可以按照给定的学习规则自动的调整。神经网络的自学习决定了神经网络具有自组织动态演化性能。 ;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基???;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;§5.3　神经网络学习基础;解之得;当　　　时，解方程组　　　　　　即可得其对应的特征向量：;二、泰勒级数(Taylor series) ;由式(5.3.17)可知，解析函数　　可以取其Taylor级数的有限项近似估计。如果　　 ，则估计值是精确的；当　越接近于　时，估计值越接近于精确值；若　离　较远，则只有更高阶的Taylor级数近似估计值接近于精确值。这是因为Taylor级数中每个相邻的后继项都包含　　　的高次项， 　越接近于　 ，这些项将按几何级数减少。 ;给定 n 维多变量函数　　　　　　　　　　 ，该函数在点　上的Taylor级数展开为：;式(5.3.18)给出的多变量函数的Taylor级数展开很繁琐，但是如果利用梯度和Hessian矩阵来描述，那么多变量函数的Taylor级数展开会变得十分整洁，于是有;　　　Hessian矩阵 ; Hessian矩阵;当 时，若对于所有　 都有　　　　　　　　成立，则称　为　　的强极小点，　　为函数　　的强极小值。若对所有　　　都有　　　　　　　　成立，则称　为　　的全局极小点，　　为函数　　的全局极小值。;当 时，若对于所有　 都有　　　　　　　　成立，则称　为　　的强极大点，　　为函数　　的强极大值。若对所有　　　都有　　　　　　　　成立，则称　为　　的全局极大点，　　为函数　　的全局极大值。;① 多变量函数极值存在的必要条件 ;由于　是函数　　的极小点，故　　　　 不能小于　　，与式(5.3.23)相矛盾。因此，　　　　　　　　不能成立，由式(5.3.22)可知唯一的选择是：;定义5.3.8：正定矩阵(Positive definite matrix) 　 一个矩阵　，对于任意不等于零的向量 　，都有　　　　　　　成立，则称　为正定矩阵。;② 多变量函数极值存在的充分条件 ;由式(5.3.27)可知对于函数　　存在强极小点的二阶充分条件是其Hessian矩阵是一个正定矩阵。当然函数　　有正定的Hessian矩阵