人工智能 Artificial Intelligence资料.ppt

感知机 （11） 线性不可分函数 感知机 （12） 线性不可分函数 ：R. O. Windner 1960年 感知机 （13） Agenda 神经网络概述 感知机 前馈神经网络 Hopfield网络 随机神经网络 遗传算法 人工生命 前馈神经网络（1） BP网络是一种前馈网络,即误差反向传播神经网络 一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。 前馈神经网络（2） 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。 结点的激励函数要求是可微的，通常选S型。 前馈神经网络（3） 多层前馈网络的每一层都是单层的网络，却无法用单层感知器的学习方法。 其解决方法：通过误差函数求导使误差沿网络向后传播 BP网络的学习算法是?算法的推广和发展，是一种有教师的学习。 前馈神经网络（4） BP模型学习算法的基本思想为： (1)从训练样例中取出一样例，把输入信息输入到网络中 (2)由网络分别计算各层节点的输出 (3)计算网络的实际输出和期望输出的误差 (4)从输出层反向计算到第一隐层，根据一定原则向减小误差方向调整网络的各个连接权值 (5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止 前馈神经网络（5） B－P模型学习公式推导： BP网络表示为： Oi。：结点i的输出 netj : 结点j的输入 wij，结点i到结点j的连接权值 yk 、 : 分别表示输出层上结点k的 实际输出和期望输出。 前馈神经网络（6） 在BP算法中，为了使学习以尽可能快的减少误差的方式进行，对误差采用基于梯度法极小化二次性能的指标函数： 连接权值的修正公式为： 前馈神经网络（7） 结论： 输出结点： 权值调整 ?为增益因子 隐结点： 权值调整 前馈神经网络（8） BP算法的不足： (1)该学习算法收敛速度太慢，常常需要成千上万次的迭代，而且随着训练样例维数的增加，网络性能会变差 (2)从数学上看该算法是一梯度最速下降法，这就有可能出现局部极小问题，这样算法所求得的就不是问题的解，所以BP算法是不完备的 (3)网络中隐节点个数的选取还没有理论的指导 (4)当有新样例加入时，将影响到已学习过的样例，而且要求刻画每个输入样例的特征数目相同 前馈神经网络（9） BP算法的改进： ?取值较大时，学习速度快，但收敛性差，可能导致学习过程的振荡；取小，可能影响学习速度。 有经验决定?的值 在权值调整中增加惯性项： Computational Intelligence : * ? Graduate University, Chinese academy of Sciences. 人工智能Artificial Intelligence 计算智能（一） Computational Intelligence 本课程前面的内容以知识为基础，通过符号推理，进行问题求解，通常把这些称为符号智能 本章是以数据为基础，通过训练建立联系，进行问题求解，一般称为计算智能 计算智能一般包括：人工神经网络、遗传算法、模糊系统、进化程序设计、人工生命等 Agenda 神经网络概述 感知机 前馈神经网络 Hopfield网络 随机神经网络 遗传算法 人工生命 神经网络概述（1） 什么是神经网络？ 个神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。 学习算法是用于完成学习过程的程序，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值的修改提供了神经网络的一种设计方法。 神经网络概述（2） 六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值” 神经网络概述（3） 非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人