2017ANN第1讲.ppt

2）第一高潮期（1950~1968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 * * 历史回顾 历史回顾 3）反思期（1969~1982） M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识——实践——再认识 * * 历史回顾 4）第二高潮期（1983~1990） 1982年，J. Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 * * 第二高潮期（1983~1990） 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 * * 第二高潮期（1983~1990） 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 国内首届神经网络大会是1990年12月在北京举行的。 * * 5）再认识与应用研究期 问题： 应用面还不够宽 结果不够精确 存在可信度的问题 * * 历史回顾 5）再认识与应用研究期（1991~） 研究： —— 开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 —— 充分发挥两种技术各自的优势是一个有效方法 —— 希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 —— 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 * * 历史回顾 * * 课后作业 ANN研究内容 ANN研究新进展（近两年） ANN资源：研究者；网站；期刊；文献 多级网 激活函数分别为：f1(x),f2(x),f3(x),则网络的最终输出表达为： Y=f3(W(3)f2(W(2)f1(W(1)X) * * 拓扑结构 循环网 * * x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … 拓扑结构 循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 * * 5. 人工神经网络的训练 * * 人工神经网络的功能： 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 学习算法 5. 人工神经网络的训练 * * 人工神经网络的功能： 决定ANN功能的3个要素：拓扑结构、传递函数、连接权值及学习算法 但是，初始人工神经网络并不具有特定的功能，一般的ANN都必须经过先训练（即学习）后应用的过程，即经过训练的ANN才具有了特定的功能，然后才能被应用。 学习算法 5. 人工神经网络的训练 人工神经网络最具有吸引力的特点是它的学习能力。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程 * * 学习算法 5. 人工神经网络的训练 * * 决定ANN功能的3个要素：拓扑结构、传递函数、连接权值及学习算法 要想使得ANN具有特定的功能，必须经过训练。在决定ANN功能的三个要素中，目前训练算法主要是针对权值进行，其它要素的训练方法仍处于探索之中，未形成普遍认可的方法。 学习算法 5. 人工神经网络的训练 * * 人工神经网络的设计和应用过程： 1.根据问题特征选择一种合适的网络结构并确定各个神经元的传递函数（一般采用相同的传递函数） 2.随机初始化各个网络连接的权值（有一些经验初始化方法） 3.从问题实践中提取训练样本或问题特征 4.选择或设计合适的训练算法对初始ANN进