5人工神经网络_2课件.ppt

智能信息处理技术 华北电力大学 第5章 人工神经网络 5.2 前馈神经网络 5.2.1、单层感知器 1958年，罗森布拉特(Rosenblatt)提出一种具有单层计算单元的神经网络，称为“感知器”(Perceptron)。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明。 单层感知器的结构与功能非常简单，较易学习和理解，是研究其他网络的基础。 感知器模型：如图所示，单层感知器是指 只有一层处理单元的感知器。图中输入层 也称感知层，有n个神经元节点,这些节点 只负责引入外部信息，自身无信息处理能 力，每个节点接收一个输入信号。输出层 也称处理层，有m个神经元节点,每个节点 均有信息处理能力。 输入列向量：X=(x1,x2,…,xn)T 输出列向量：O=(o1,o2,…,om)T 权值列向量：Wj=(w1j,w2j,…,wnj)T 离散型单层感知器的转移函数一般采用符号函数： 5.2.1、单层感知器 感知器功能 考虑如图所示单计算节点感知器的情况。则 ① 设输入向量X=(x1,x2)T,则两个输入分量在几何上构成一个 二维平面，输入样本可以用该平面上的一个点表示。则 由方程 确定的直线成为二维输入样本空间上的一条分界线。 ② 设输入向量X=(x1,x2,x3)T,则三个输入分量在几何上构成一个三维空间。节点j的输出为 由方程 确定的平面成为三维输入样本空间上的一个分界面。 ③ 推广到n维空间的一般情况，设输入X=(x1,x2,…,xn)T,则n个输入分量在几何上构成一个n维空间。由方程 可定义一个n维空间上的超平面。此平面可以将输入样本分为两类。 5.2.1、单层感知器 感知器的局限性 如果两类样本可以用直线、平面或超平面分开，称为线性可分，否则称为线性不可分。由感知器分量的几何意义可知，由于净输入为零确定的分类判决方程是线性方程，因而它只能解决线性可分问题而不能解决线性不可分问题。由此可知，单计算层感知器的局限性为：仅对线性可分问题具有分类能力。 感知器的学习算法 采用感知器学习规则进行训练。训练步骤为： ① 对各初始权值w0j(0),w1j(0),w2j(0),…,wnj(0)，j=1,2,…,m(m为计算层的节点数)赋予较小的非零随机数； ② 输入样本对{Xp,dp}，其中Xp=(-1, , ,…, ),dp为期望的输出向量(教师信号),上标p代表样本对的模式序号，设样本集中的样本总数为P，则p=1,2,…,P； ③ 计算各节点的实际输出 ； ④ 调整各节点对应的权值， ，其中η为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0η≤1； ⑤ 返回步骤②输入下一对样本，周而复始直到对所有样本感知器的实际输出与期望输出相等。 5.2.1、单层感知器 例 单计算节点感知器有3个输入，给定3对训练样本如下 X1=(-1,1,-2,0)T d1=-1 X2=(-1,0,1.5,0.5)T d2=-1 X3=(-1,-1,1,0.5)T d3=1 设初始权向量W(0)=(0.5,1,-1,0)T,η=0.1,训练该感知器。 解：第一步 输入X1，得 第二步 输入X2，得 5.2 前馈神经网络 5.2.2、多层感知器 单计算层感知器只能解决线性可分问题，在输入层和输出层之间引入隐层作为输入模式的“内部表示”，将单计算层感知器变成多(计算)层感知器，可以实现线性不可分问题。 例：用两输入层感知器解决“异或”问题。 如图具有单隐层的感知器，其中隐层的两个节点相当于两个 独立的符号单元。这两个符号单元可分别在x1和x2构成的平 面上确定两条分界直线S1和S2，构成如图所示的开放式凸域。 通过适当调整两条直线的位置，可使两类线性不可分样本分 别位于开放式凸域内部和外部。 输出层节点以隐层两节点的输出y1、y2作为输入，其结构也 相当于一个符号单元。经过训练，使其具有逻辑“与非”功能， 则“异或”问题即可得到解决。 5.2.2、多层感知器 当输入样本为二维向量时，隐层中的每个节点确定了二维平面上的一条分界直线。多条直线经输出节点组后后构成下图所示的各种形状的凸域（所谓凸域是指其边界上任意两点之连线均在域内）。通过训练调整凸域的形状，可将两类线性不