人工神经网络及其在生物信息学中的应用.ppt

1.1 引言 人工神经网络（Artificial Neural Networks，简称ANN） 是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 历史 1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型； 1949年，心理学家D. O. Hebb提出神经元之间突触联系强度可变的假说，并据此提出了神经元的学习准则； 50年代末，Rosenblatt提出了感知器模型； 1969年，Minsky和Papert从数学上深入分析了感知器的原理，指出了其局限性—“异或”运算不可表示 ； 1982年，Hopfield 提出了神经网络的一种数学模型（Hopfield反馈网络），引入了能量函数的概念，用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据。 1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播（BP）算法，较好地解决了多层网络的学习问题。 1.2 人工神经元 1.2.1 生物神经元 1.2 人工神经元 1.2.2 人工神经元 1.2 人工神经元 1.2.3 神经元的算法 几乎所有神经网络学习算法都可以看做Hebb学习规则的变形。Hebb学习规则的基本思想是： 如果神经元ui接收来自另一个神经元uj的输出，则当这两个神经元同时兴奋时，从ui到uj的权值就得到加强。 具体到神经元模型，表现为如下的算法： Δωi = ηyxi 式中Δωi是对第i个权值的修正量，η是控制学习速度的系数。 1.3 前馈神经网络及其主要算法 1.3.1 前馈神经网络 各神经元接受前一级输入，并输出到下一级，无反馈。 1.3 前馈神经网络及其主要算法 1.3.2 感知器(Pereceptron) 一种双层神经网络模型，一层为输入层，一层具有计算单元； 通过监督学习建立模式判别的能力； 学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。 感知器的特性： 两层感知器只能用于解决线性可分问题。 学习过程收敛很快，且与初始值无关。 1.3 前馈神经网络及其主要算法 1.3.3三层前馈网络 在很宽松的条件下，三层前馈网络可以逼近任意的多元非线性函数，突破了二层前馈网络线性可分的限制。 这种三层或三层以上的前馈网络通常又被叫做多层感知器（Multi-Layer Perceptron，简称MLP）。 1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法） 三层前馈网络适用范围好，但是学习算法较为复杂，主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。 解决方法：反向传播（Back-Propogation）算法。 其主要思想：从后向前（反向）逐层传播输出层的误差，以间接算出隐层的误差。 计算过程： 从输入层经隐层逐层正向计算各单元的输出； 由输出误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值。 1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续 1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续 1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续 反向传播算法步骤 （1）选定权系数初始值([-0.3,0.3]) （2）重复下述过程直至收敛（对各样本以此计算）。 从前向后各层计算各单元Oj 对输出层计算δj 从后向前计算各隐层δj 计算并保存各权值修正量 修正权值 1.3 前馈神经网络及其主要算法 1.3.5径向基函数网络（RBF网络） 另外一种较常用的前馈型神经网络； 只有一个隐层，隐层单元采用径向基函数作为其输出特征； 输入层到隐层之间的权值固定为1； 输出节点为线性求和单元，隐层到输 出节点之间的权值可调。 1.3 前馈神经网络及其主要算法 1.3.5径向基函数网络（RBF网络） 径向基函数（Radial Basis Function），就是某种沿径向对称的标量函数。 通常定义为空间任一点 x 到某一中心 xc 之间欧氏距离的单调函数。 RBF网络的作用： 把网络看成对未知函数f（x）的逼近器。一般任何函数都可表示为一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f（x）。 在RBF网络中，从输入层到隐层的基函数输出是一种非线性映射，而输出则是线性的。这样，RBF网路可以看成是首先将原始的非线性可分的特征空间变换到另一空间（通常是高维空间），通过合理选择这一变换使在新空间中原问题线性可分，然后用一个线性单元来解决问题。 1.4 竞争学习和侧抑制 引入竞争机制的前馈网络可以实现无监督学习，完成聚