《4第四章人工神经网络.pptVIP

第四章 人工神经元网络 郝红卫 第四章 人工神经元网络 4.1 引言 4.2 神经元模型 4.3 前馈运算和分类 4.4 反向传播算法 4.5 改进反向传播的一些实用技术 4.6 讨论 引 言 线性分类器只能解决线性可分问题，具有局限性 采用的训练算法具有启发意义 是否可以将其推广至非线性分类器 分类器结构的推广———多层神经网络 学习算法的推广——反向传播算法（BP） 引 言 人工神经网络的研究与计算机的研究几乎是同步发展 1943年，心理学家McCulloch和数学家Pitts合作提出了神经元的数学模型，成为人工神经网络研究的开端 1949年，心理学家D.Hebb提出神经元之间突触联系强度可变的假设，并据此提出神经元的学习准则，为神经网络的学习算法奠定了基础 1958年，Rosenblatt 提出了感知机模型，首次把神经网络的研究付诸工程实践 1969年，Minsky 和Papert 出版《感知机》一书，从数学上深入分析了感知机的原理，指出其局限性。加之计算机正处于全盛发展时期，早期的人工智能研究也取得了巨大的成就，掩盖了发展新型计算机模型的迫切性，使人工神经网络的研究陷入低潮 引 言 1982年，Hopfield提出的Hopfield网络模型，为联想记忆和最优化计算提供了一种新途径，大大促进了神经网络的研究 1986年，Rumelhart等提出了多层感知机的反向传播算法，克服了当初阻碍感知机模型继续发展的重要障碍。 同时期，由于传统的基于符号处理的人工智能在解决工程问题上遇到了许多困难；同时，尽管计算机性能不断提高，但在解决象模式识别、学习等对人来说轻而易举的问题时却显得非常困难。促使人们怀疑传统的Von Neumann机是否能够解决智能问题，也促使人们探索更接近人脑的计算模型。于是又形成了对神经网络研究的新热潮。 九十年代后期，发展趋于平稳。理论进展不大，以多层感知机网络为主，在很多领域取得了广泛的应用，也逐渐受到了一些批评。 神经元模型 自然神经网络的基本构成与特点 神经元（neuron） 细胞体（cell） 树突（dendrite） 轴突（axon） 突触（synapses） 神经元模型 细胞体：神经细胞本体 树突： 大量分支，接受其它神经元信息 突触： 神经元之间连接的特殊部位 轴突： 远距离信息传输 神经元模型 特点 多输入、单输出 具有非线性输入/输出特性，激励达到一定强度后才激活 具有可塑性，传递强度可调节 输出响应是各个输入的综合作用的结果，即所有输入的累加 神经元模型 神经元模型 数学表达式 y： 激活函数、转移函数、输出函数 ： 阈值 神经元模型 以矩阵表示 神经元模型 激活函数 符号函数 线性函数 Sigmoid函数 神经元模型 神经元网络 神经元的作用：加工、传递信息（电脉冲信号） 神经元网络：大量神经元的复杂连接 通过大量简单单元的广泛、复杂的连接而实现各种智能活动。 前馈运算和分类 一个多层神经元网络由一个输入层、至少一个隐层、和一个输出层组成，各层之间通过可调节的权值互连 输入层各节点与特征向量各分量相对应 输出层与各类别相对应 如下图所示 前馈运算和分类 yj = f(netj) zk = f(netk) 前馈运算和分类 网络的c个输出, 可以看作是计算了c个判别函数 zk = gk(x) 分类时将输入 x 归于判别函数最大值所对应的类别。 问题：是否能实现任意复杂的判别函数？ 前馈运算和分类 答案： 柯尔莫戈洛夫（Kolmogorov）定理： 只要给定足够数量的隐结点、选择适当的非线性函数和权值，则任何从输入到输出的连续函数都可以用一个三层的网络来实现。 三个条件 隐节点数足够多——多少合适？ 合适的非线性函数——什么的函数？ 正确的权值——如何确定？ 前馈运算和分类 激活函数应具备的特性 非线性：否则多层网络将不具备非线性分类能力 饱和性：即存在最大值和最小值，这样可以限定权值和激活函数的上下边界，使得训练次数有限 连续性 单调性：方便但非必要 局部线性：当 net 值 较小时具有线性特征，使系统能够实现线性模型 前馈运算和分类 Sigmoid函数（S型函数） f(x) = 1/ [1+exp(-x)] f′(x) = f(x)[1-f(x)] 前馈运算和分类 双曲正切 前馈运算和分类 我们选择 激活函数确定了，然后是如何获取权值——训练算法。 反向传播算法 我们的目标是根据训练样本