第04章 感知机的学习规则09.10.2.ppt

第4章 感知机的学习规则4.1目的 本章目的： 本章将介绍一种用于训练感知机网络的算法，使感知机能够学习求解分类问题。 将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。 本章最后将对单层感知机网络的优点和局限性进行讨论。 4.2 理论和实例 → 4.2.1 学习规则 学习规则 (1) 所谓学习规则就是修改神经网络的权值和偏置值的方法和过程(也称这种过程是训练算法)。 (2) 学习规则的目的是为了训练网络来完成某些工作。 (3) 学习规则大致可以分为三大类：有监督学习、无监督学习和增强〔或分级)学习。 4.2 理论和实例 → 4.2.1 学习规则 增强学习 增强学习与有监督的学习类似，只是为每一个输入仅仅给出一个级别，这个级别(或评分)是对网络在某些输入序列上的性能测度。 最为适合控制系统应用领域 4.2 理论和实例 → 4.2.2 感知机的结构 感知机网络的一般结构如图4-1所示,该网络的输出由(4.2)式给出： 4.2 理论和实例 → 4.2.2 感知机的结构 4.2 理论和实例 → 4.2.2 感知机的结构 4.2 理论和实例 → 4.2.2 感知机的结构 4.2 理论和实例 → 4.2.2 感知机的结构 4.2.3 感知机学习规则 测试问题：在测试问题中，先不考虑偏置值。设输入/目标对为： 4.2.3 感知机学习规则 以随机数作为权值向量（矩阵）的初值： 4.2.3 感知机学习规则 4.2.3 感知机学习规则 三条学习规则： 4.2.3 感知机学习规则→→举例(橘子/苹果问题) 训练集： 4.2.3 感知机学习规则→→举例(橘子/苹果问题) 4.2.4 收敛性证明（略） 4.2.4 收敛性证明 此部分内容（略） 4.3 小结 学习规则 (1) 学习规则就是修改神经网络的权值和偏置值的方法和过程 (3) 三大类：有监督学习、无监督学习和增强〔或分级)学习。 4.3 小结 感知机网络的输出： 4.3 小结 本章最重要点 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 4.4 例题与练习 作业 1、绘制Page35的图4-1的感知机图，并写出各判定边界方程，写　出感知机的学习规则，说明各符号的含义。 2、Page57 E4.1，并给出权值向量和偏置值和E4.。 3、page E4.2（i）（ii） 4、提交实验三的实验报告。（见实验指导） * 4 有监督的学习 训练集 目标 在有监督的学习当中，学习规则由一组描述网络行为的实例（训练集）给出 pq为网络的输入，tq为相应的正确(目标)输出。 (1) 网络的实际输出与目标相比较，然后学习规则调整网络的权值和偏置值，使网络的实际输出越来越接近于目标输出。 感知机的学习规则就属于这一类有监督学习。 无监督的学习 在无监督的学习中，仅仅根据网络的输入调整网络的权值和偏置值，它没有目标输出。 大多数要完成某种聚类操作都要采用这种类型的算法学会将输入模式分为有限的几种类型。 本书将在第13章到第16章讨论更多的无监督学习算法。 首先考虑如下权值矩阵： Ｗ的第i个行向量定义为式(4.4)，并将权值矩阵改写为式(4.5)的形式。 接下来，将从有两个输入的单神经元感知机开始，对此进行讨论。 1、单神经元感知机 考虑如图4-3所示的两个输入的单神经元感知机。该网络的输出由下式所决定 判定边界由下式确定： 例如： 例如： 下面将运用上述一些概念设计出能够实现“与”逻辑功能的感知机网络。与的输入/目标对为： 如图4-6所示，黑点表示目标1，白点表示目标0 选择一下与判定边界将它们划分开。可选择倾角-135度。如图4-6 再选择一条与之垂直的方向即可。如45度方向的向量即可，长度不即， 在边界上任取一点代入边界方程，则可以求出偏置值。比如： 2. 多神经元感知机 每一个神经元都 有一个判定边界。第i个神经元的判定边界定义为： 分析方法同单感知机类似，单神经元感知机只能区别两类模式，而多神经元感知机可以区分多个模式。 如图4-8，则有图4-10无数条边界和4-11中无数权值向量 接下来讨论根据输入/目标对，由网络自动调整权值。 将训练集中的各部分依次输入网络，如p1,则输出为： 现将训练集中的p2,输入，则输出为： 现将训练集中的p3,输入，则输出为： 然后，再次将训练集中的各向量输入，则均能得到与目标相同的输出，所求为： 统一形式的学习规则： 感知机规则  推广到多神经元，则学习规则可以用矩阵符号表示为： 初始化： p1,输入 p2,输入 p1再次输入 如果继续迭代下去，则两个输入向量都能