51人工神经网络基础.ppt

* * * * * * * * * * * * * * * * * * 生物神经网络的功能不是单个神经元信息处理功能的简单叠加，能完成神经元间信息的接收、传递、处理和加工 神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力 5.1.3 从生物神经网络到人工神经网络 生物神经网络中神经元之间的连接方式 人工神经网络中节点与节点之间的连接---1. 拓扑结构 层次型拓扑结构 层次型结构： 将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连 5.1.3 从生物神经网络到人工神经网络 层次型拓扑结构（输出层到输入层有连接） 层次型结构： 将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---1. 拓扑结构 层次型结构： 将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连 层次型拓扑结构（层内有连接） 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---1. 拓扑结构 互连型网络结构： 网络中任意两个节点之间都可能存在连接路径 全互联型拓扑结构 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---1. 拓扑结构 互连型网络结构： 网络中任意两个节点之间都可能存在连接路径 局部互联型拓扑结构 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---1. 拓扑结构 前馈型网络 信息处理的方向是从输入层到各隐层再到输出层逐层进行 前馈（信息流向）型神经网络 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---2. 信息流向 前馈型网络 前馈（信息流向）型神经网络 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---2. 信息流向 分类与识别 非线性映射功能 反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。 反馈（信息流向）型神经网络 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---2. 信息流向 反馈型网络 反馈（信息流向）型神经网络 5.1.3 从生物神经网络到人工神经网络 人工神经网络中节点与节点之间的连接---2. 信息流向 优化计算 联想记忆 生物神经网络的功能不是单个神经元信息处理功能的简单叠加，能完成神经元间信息的接收、传递、处理和加工 神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。 令wkj为n时刻的突触权重，则n时刻权重的调整值?wkj是突触权重wkj(n)与一个修正值之和： 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 学习的过程（权值调整的一般情况 ） 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 有导师的学习（监督学习） 在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系的调整，将期望输出称为导师信号 期望输出 实际输出 学习机 输入 NN 比较 最小二乘法（LMS） 反向传播算法（BP） 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 无导师的学习（无监督、或称自组织） 无导师信号提供给网络，网络能根据其特有的结构和学习规则，进行联接权系的调整，此时，网络的学习评价标准隐含于其内部 实际输出 学习机 输入 NN 自我 比 较 使用竞争学习方式 数据内部所具有的特性（苹果和梨子） 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 再励学习（强化学习） 把学习看为试探评价过程，学习机选择一动作作用于环境，环境的状态改变，并产生再励信号反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性增大 状态 输入 NN1 NN2 学习机 输出---动作 环境 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 5.1.3 从生物神经网络到人工神经网络 人工神经网络中神经元的连接强度 同步（并行）方式： 任一时刻神经网络中所有神经元同时调整状态 异步（串行