8智能计算导论_神经网络2.ppt

智能计算导论第三章 人工神经网络 第二节 感知器 西安电子科技大学 智能科学与技术系 离散多输出感知器训练算法 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) o1 多输出感知器 x1 x2 o2 om xn … ?… … … 输入层 输出层 离散多输出感知器训练算法 1.初始化权矩阵W； 2.重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算O=F（XW）； 2.1.3 for j=1 to m do 执行如下操作： if oj ≠ yj then if oi = 0 then for i = 1 to n wji=wij+xi else for i= 1 to n do wji=wji-xi 连续多输出感知器训练算法 1．用适当的小伪随机数初始化权矩阵W； 2. 初置精度控制参数ε，学习率α，精度控制变量d=ε+1； 3．While d ≥ ε do 3.1 d=0； 3.2 for 每个样本（X，Y）do 3.2.1 输入X（=(x1，x2，…，xn)）； 3.2.2 求O=F（XW）； 3.2.3 修改权矩阵W： for i=1 to n，j=1 to m do wji=wji+α(yj-oj)xi； 3.2.4 累积误差 for j = 1 to m do d=d+(yj-oj)2 思考题 有一单级压缩机，需要通过温度、压力和噪声来判定其工作是否正常。现假设温度、压力和噪声分别为1，1，1时为正常，0，0，0时为异常，请设计一感知器加以判定。并说明： 需要多少神经元(1个神经元) 权值的维数是多少(1×3) 采用什么传输函数(硬极限函数) 是否需要采用偏值(无法确定 ) 感知器与人工神经网络的早期发展 感知器的学习算法 离散单输出感知器训练算法 离散多输出感知器训练算法 连续多输出感知器训练算法 线性不可分问题 异或(Exclusive –OR)问题 线性不可分问题的克服 感知器与ANN的早期发展 McCulloch和Pitts在1943年发表第一个系统的ANN研究——阈值加权和(M-P)数学模型。 1947年，开发出感知器。 1949年，提出Hebb学习律。 单输出的感知器(M-P模型) x2 x1 o xn … 感知器与ANN的早期发展 1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西 o1 多输出感知器 x1 x2 o2 om xn … ?… … … 输入层 输出层 感知器的结构 单神经元感知器 a=hardlim(n)=hardlim(Wp+b) 单神经元感知器－判定边界 判定边界由那些使得净输入n为零的输入向量确定 a＝1 a＝0 单神经元感知器－判定边界 对于边界上的所有点而言，输入向量与权值向量的内积都是一样的 输入向量在权值向量上都有相同的投影 权值向量总是指向神经元输出为1的区域 a＝1 a＝0 一个例子—或门 设计一个能够实现“或门”逻辑功能的感知机 权值向量应该与判定边界垂直 一个例子—或门 从判定边界上选取一个合适的点以确定偏置值b 多神经元感知器 每一个神经元都有一个判定边界 单个神经元感知机只能将将输入向量分为两类 多个神经元可以将输入向量分为2S类 感知器学习规则 a=hardlim(n)=hardlim(Wp) 将 p1 送入网络: 随机初始化权值: 错误的输出 感知器学习规则 ? 令 1w ＝ p1– 不稳定 ? 将 p1加入 1w 调整准则: 感知器学习规则 (不正确分类) 修改准则： 感知器学习规则 第二个输入: 输入模式已经可以被正确分类 (不正确分类) 感知器学习规则 第三个输入: 感知器学习规则 a= hardlim(WTp+b) a= hardlim(3.4)=1 a= hardlim(-2.6)=0 a= hardlim(-0.2)=0 感知器学习规则 权值矩阵的第i行可以用下式修正 多神经元感知器学习规则 多神经元感知器学习规则 训练集 初始权值 第一次迭代 e t 1 a – 1 0 – 1 = = = 一个例子 一个例子 第二次迭代 一个例子 检验 线性不可分问题 异或(Exclusive –OR)问题 g（x，y） y 0 1