神经网络简介及其应用实例.ppt

神经网络简介 概述 感知器（perceptron）与BP神经网络的原理 案例： 逼近函数（拟合）， 判别分析（分类） 什么是人工神经网络（ANN）？ T.Kohonen的定义： 人工神经网络是由 具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 在人工智能，“模式”识别等领域有广泛应用。人脸识别， 声音辨识，性别识别 …人脑可以瞬间完成这些工作， 究竟如何进行 ？ 可实现（发现，拟合）从输入到输出的任何复杂的映射（线性，非线性）功能。 (1 2 3 ) ---------- 5 (2 3 4 )---------- 10 (3 4 5)----------- 17 (4 5 6 )----------- ? 黑箱算法， 启发式， 经验式的算法 是一种黑箱算法， 启发式， 经验式 ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 神经网络研究的发展 第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitt 在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络,他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. θ是阀值。 感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下： 在输入样本只有两个分量X1，X2时，则有分类边界条件： 感知器的分类例子 单层感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。 例：用单层感知器实辑函数X1VX2的真值 逻辑函数X1VX2的分类 一般地， 怎么样寻找权重和阈值 ？ 使得output与input完全对应 ？ 学习算法实现 梯度算法 为了能实现梯度算法，故把神经元的激发函数改为可微分函数，例如Sigmoid函数，非对称Sigmoid函数为f(X)=1/(1+e-x),对称Sigmoid函数f(X)=(1-e-x)/(1+e-x)；而不采用的阶跃函数。 对于给定的样本集Xi(i＝1，2，，n)，梯度法的目的是寻找权系数W*，使得f[W*，Xi]与期望输出Yi尽可能接近。 误差e采用下式表示： ？ 为什么可以用梯度法？ 解方程， 非线性规划，极小值 BP网络 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 神经网络的建模在很多细节问题上要靠经验，而且跟具体的应用非常相关。 ?  NN建模通常有两大步骤：一是选择网络结构；二是训练系统参数。? 第二步好说一些，但第一步经常带有极大的经验性。比如：网络的层数、各隐层的结点数、输入输出的编码样板、各结点的激励函数，以及各结点的连接拓扑等。 ? 方法：“试”。多试着变化一些，以求找到最适合具体应用的模型 案例1 BP网络在函数逼近中的应用 要求设计一个BP网络，逼近以下函数： g(x)=1+sin(k*pi/4*x) 步骤1：画要逼近的函数 k=1; p=[-1:.05:8]; t=1+sin(k*pi/4*p); Plot（p，t，‘-’）； title(要逼近的非线性函数); xlabel(时间); ylabel(非线性函数); 步骤2：网络的建立 应用newff()函数建立BP网络结构。 n=3; net = newff(minmax(p),[n,1],{tansig purelin},trainlm); 对于初始网络，可以应用sim（）函数观察网络输出。 y1=sim(net,p); figure; plot(p,t,-,p,y1,:) title(未训练网络的输出结果); xlabel(时间); ylabel(仿真输出--原函数-); 权值和阈值的初始化