模式识别课件--神经网络模式识别分析.ppt

神经网络与模式识别 1 人工神经网络发展概况 2 神经网络基本概念 3 前馈神经网络 神经网络模式识别法 11.1 人工神经网络发展概况 人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。 模拟人脑神经细胞的工作特点： 与目前按串行安排程序指令的计算机结构截然不同。 * 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。 优点： (1) 较强的容错性; (2) 很强的自适应学习能力； (3) 可将识别和若干预处理融为一体进行； (4) 并行工作方式； (5) 对信息采用分布式记忆，具有鲁棒性。 四个发展阶段： 第一阶段：启蒙期，始于1943年。 形式神经元的数学模型提出。 第二阶段：低潮期，始于1969年。 《感知器》(Perceptions)一书出版，指出局限性 。 第三阶段：复兴期，从1982年到1986年。 Hopfield的两篇论文提出新的神经网络模型； 《并行分布处理》出版，提出反向传播算法。 第四个阶段：1987年至今，趋于平稳。 回顾性综述文章“神经网络与人工智能” 。 11.2 神经网络基本概念 11.2.1 生物神经元 1．生物神经元的结构 细胞体、树突、轴突和突触。 2．生物神经元的工作机制 兴奋和抑制两种状态。 抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位 不应期 产生输出脉冲 输入兴奋总 量超过阈值 神经元被激发 进入兴奋状态 由突触传递给其它神经元 11.2.2 人工神经元及神经网络 人工神经元：生物神经元的简化模拟。 人工神经元间的互连：信息传递路径轴突-突触-树突的简化； 连接的权值：两个互连的神经元之间相互作用的强弱。 图11.2 人工神经元模型 接收的信息 (其它神经元的输出) 互连强度 作比较 的阈值 n维输入向量X 输出 输出函数 神经元的动作： 输出函数 f：也称 作用函数，非线性。 阈值型 S型 伪线性型 f 为阈值型函数时： 设 ，点积形式： 式中， 11.2.3 神经网络的学习 学习： 同一个训练集的样本输入输出模式反复作用于网络，网 络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。 实质： 1．Hebb学习规则 典型的权值修正方法： Hebb学习规则、误差修正学习 如果神经网络中某一神经元与另一直接与其相连的神经 元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。 神经网络的最重要特征之一。 wij(t+1)：修正一次后的某一权值； η：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。 由 有： 神经元间的连接 2. δ学习规则 （3）更新权值，阈值可视为输入恒为（－1）的一个权值； （1）选择一组初始权值wij(1)； （2）计算某一输入模式对应的实际输出与期望输出的误差； 式中， （4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。 dj，yj(t)：第j个神经元的期望输出与实际输出； xi(t)：第j个神经元的第i个输入。 神经网络的学习体现在： η：学习因子； 权值变化； 网络结构变化。 11.2.4 神经网络的结构分类 分层结构 有明显层次，信息流向由输入层到输出层。 —— 前馈网络 没有明显层次，任意两个神经元之间可达，具有输出 单元到隐层单元或输入单元的反馈连接 。 —— 反馈网络 相互连接结构 11.3 前馈神经网络 11.3.1 感知器 感知器（Perceptron）：F．Rosenblatt于1957年提出。 感知器结构示意图 * 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。 结构特点： * 输出层神经元个数等于类 别数（两类问题时输出层 为一个神经元）。 设输入模式向量， ，共M类。 输出层第j个神经元对应第j个模式类， θj：第 j个神经元的阈值； wij：输入模式第i个分量与 输出层第j个神经元间的连接权。 令 。取 有 输出为 输出单元对所有输入数值加权求和，经阈值型输出函数 产生一组输出模式。 M类问题判决规则( 神经元的输出函数) 为 * 正确判决的关键： 输出层每个神经元必须有一组合适的权值。 * 感知器采