有哪些信誉好的足球投注网站- 1、本文档共9页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
六、2 ADALINE
§6.2 Widrow-Hoff学习算法
1960年，Bernard Widrow和他的研究生Marcian Hoff建立了自适应线性神经元 (ADALINE ——Adaptive Linear Neuron)网络，并给出了一个称为最小均方(LMS——Least Mean Square)的学习算法。ADALINE网络在结构上与感知器非常相似，不同之处在于它的作用函数是线性函数而不是硬极限函数。
6.2.1 ADALINE网络的结构
ADALINE网络结构如图6.2.1所示。单神经元感知器结构与McCulloch和Pitts提出的神经元模型十分相似，
图6.2.1 ADALINE网络结构
图5.1.3所示的神经网络输出为
(6.2.1)
其中：是ADALINE网络的输出向量；
是各神经元之间的连接权系数矩阵；
是ADALINE网络的输入向量；
是ADALINE网络的阈值向量；
是ADALINE网络中的作用函数，取式(4.2.11)描述的线性函数。
在ADALINE网络中，第个神经元的输出为：
(6.2.2)
其中：是输入向量与第个神经元间的连接权值；
是第个神经元的阈值。
为了讨论方便，这里考虑一个两输入的ADALINE，如图6.2.2所示。
图6.2.2 两输入的ADALINE
对于图6.2.2所示的ADALINE，其净输入为：
(6.2.3)
由于ADALINE的作用函数为
(6.2.4)
故神经元的输出为：
(6.2.5)
若令ADALINE的净输入为零，则有，该表达式实质上在输入向量空间中定义了一条直线。若令，则可求出该直线在轴上的截距；若令，则可求出该直线在轴上的截距。两点确定了一条直线，如图6.2.3所示，该直线将输入向量空间分成两部分。
图中灰色区域对应，白色区域对应，说明ADALINE网络也可以将输入对象分为两类。但是，前提条件是对象必须是线性可分的。因此，ADALINE网络具有和感知机同样的局限性。
图6.2.3 两输入ADALINE的类别界限
6.2.2 LMS学习算法
LMS算法也是有监督学习算法，设有组样本数据为：
，，……，，……， (6.2.6)
其中是第组样本输入向量，是该输入对应的目标输出，。
当输入向量作用到ADALINE网络时，网络实际输出为。将与比较，在ADALINE网络尚未训练的情况下，可能与相差甚远。LMS学习算法就是通过调整ADALINE网络的权系数和阈值，使网络实际输出逐步逼近目标输出，以便使均方误差最小。
为了便于讨论，以多输入的单神经元为例，其结构如图6.2.3所示。
图6.2.2 多输入的ADALINE结构
首先将所有要调整的参数，包括阈值，组成一个向量：
(6.2.7)
其中：是各输入与神经元的连接权值，。
类似地，将偏置值输入“1”和输入向量组成一个广义的输入向量：
(6.2.8)
根据式(6.2.2)可知ADALINE网络输出为：
(6.2.9)
将式(6.2.7)和式(6.2.8)代入式(6.2.9)中，则有
(6.2.10)
于是可以得到网络输出与目标输出之间的误差：
(6.2.11)
设为ADALINE网络的均方误差，可以表示为：
(6.2.12)
其中：表示在所有输入/输出数据对上的数学期望值。根据数学期望的性质，有
(6.2.13)
若令，，时，上式可以定成：
(6.2.14)
这里向量是输入向量与对应目标输出之间的相关系数，是输入向量的相关矩阵。矩阵的对角线元素等于输入向量元素的均方值。
我们知道二次函数的一般形式为：
(6.2.15)
将式(6.2.14)与上式相比较，可以看出ADALINE网络的均方差性能函数也是一个二次函数，其中
且 (6.2.16)
对于二次函数，若Hessian矩阵的所有特征值为正，则函数有一个强极小点；若Hessian矩阵的所有特征值为负，
文档评论（0）