神经网络的介绍解读.ppt

第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 应用之例：蚊子的分类 已知的两类蚊子的数据如表1： 翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1 输入数据有15个，即p=1,…,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络 规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： 为阈值 其中 分析如下： 为第一层的输出，同时作为第二层的输入。 其中， 为阈值， 为激励函数 若令 （作为一固定输入） （阈值作为固定输入神经元相应的权系数） * 神经网络的介绍 一、历史回顾 二、单层感知机与多层感知机 三、BP网络 四、卷积神经网络 五、内容小结 内容安排 * 历史回顾 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初) 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。人工神经网络进入低潮期。 * (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield网络.1986年Rumelhart等提出的误差反向传播法，即BP法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 (4)低潮(90年代初-2000年初) SVM算法诞生，与神经网络相比：无需调参；高效；全局最优解。基于以上种种理由，SVM成为主流，人工神经网络再次陷入冰河期。 (5)第三次热潮（2006年开始） 在被人摒弃的10年中，有几个学者仍然在坚持研究。这其中的棋手就是加拿大多伦多大学的GeofferyHinton教授。2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度学习”的概念。很快，深度学习在语音识别领域暂露头角。接着，2012年，深度学习技术又在图像识别领域大展拳脚。Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充分证明了多层神经网络识别效果的优越性。 单层感知机的介绍 单层感知器是用于线性可分模式分类的最简单的神经网络模型。用来调整这个神经网络中自由参数的算法最早出现F.Roseblatt（1958,1962）提出的用于脑感知模型的一个学习过程中。 * 网络模型结构 其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系数；输入与输出具有如下关系： b为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数． 单位阶跃函数 ： S型激发函数： tanh型激发函数： 常见