人工神经网络方法介绍-read.ppt

人工神经网络方法介绍 概况 原理及计算方法 气象中的应用 一、概况 发展 人工神经元定义 人工神经网络的特性 人工神经网络的基本类型 人工神经网络的主要学习方法 人工神经网络的典型模型 1、发展 神经学作为一门科学始于19世纪末。 1875年意大利解剖学家用软色体法识别单个神经细胞。 1889年创立神经元学说。 本世纪初，电生理技术开始发展，神经系统各种反射活动得到详细研究。 起源：1943（似脑的机器）。 学习机器； 50年代末60年代初，Rosenblatt提出Perceptron（知觉器），Widrow~~Adaline（自适应线性元件）。 1986年Rumelhart 和Mccelland提出了多层网络的“误差反向传播算法（BP）”。改变了这一状况，使网络模式走向实用化。目前人工神经网络的学习方法已发展有许多，如：递推最小二乘法、投影算法、反向传播算法等。 2、定义 人工智能神经网络是由大量简单元件（模拟人的大脑）广泛相互连接而成的复杂网络系统。 人工神经元结构包括输入、功能函数处理和输出。（如图） 神经元结构示意图 人工神经元 生理神经元 单向 多向 3、网络的一般特性 并行分布处理 非线性映射 通过训练进行学习 适应和集成 硬件实现 4、人工神经网络的基本类型 递归网络 前馈网络 6、人工神经网络的典型模型 自适应谐振理论（ART.） 双向联想存储器（BAM） 博尔茨曼（Boltzmann） 反向传播网络（BP） 对流传播网络（CPN） Hopfield网 认知机（Neocogntion） 感知器（Perceptron） 自组织映射网（SOM） 二、人工神经网络原理算法 数学原理 BP算法 计算步骤 1、数学原理 近似定理 2、BP网络原理算法 BP(back propagate)，指采用s型活化函数、 法则训练的多层映射网络。在参数适当时，能收敛到较小的均方误差。 法则一种后向传递并修正误差的训练学习方法。 BP算法原理 S型活化函数 算法推导 3、计算步骤 选取训练样本对、初始化权阵。 将选取的样本输入矢量作用于输入端，从输入层到输出层计算： 从输出层反向计算误差并修正权阵： 重复（2~3步），当所有的样本使用一次，即完成一个训练周期时，计算网络误差： 重复（2~4步），进行下一轮训练周期，得到下一轮网络误差： 计算误差改变量： 当误差改变量小于某允许值时，终止训练，得到一组权阵 。 三、人工神经网络方法在气象中的应用 正反问题 人工神经网络的特点 与其他方法的比较 气象应用方面介绍 正问题：即已知事物相互联系的规律， 求解问题的解。 反问题：即事物相互联系的规律未知，只知一些现象。气象中有不少问题受实验条件的限制，到目前还没了解清楚，就属于反问题。如：长期预报。求解反问题的方法：动力学建摸（线性）、人工智能（神经网络、专家系统） 2、人工神经网络的特点 从数学本质上看，非线性神经元构成的网络具有很强的自学习能力和对环境的适应能力； 从应用对象看，人工神经网络方法擅长处理知识背景不很清楚的、模糊的、随机的大通量信息； 从 求解的目标看，它致力于搜寻非精确的满意解，而放弃目标解的高度精确性，因而有效地提高了问题求解的效率和实际解算问题的能力。 3、与其他方法的比较 大规模并行处理，便于信息的综合 良好的容错性 有学习功能，网络的大量参数均由学习（训练）得到，而不是人为设定。这一点很重要，这意味从原始数据中提取信息，逼近规律，而不是人为赋予规律。 举例简单地说：MOS(模式输出统计法）是线性分析、逐步求解；卡尔曼滤波是线性分析、逐步求解；神经网络则是线性与非线性分析、逐步求解。 4、气象应用方面介绍 在气象领域，国外加拿大和美国开展应用较早。国内也进行了一些开发研制工作。一般应用于预报和分类分析。如：采用多个预报因子指标分析预报最低气温、异常降水等。 人工神经网络进行气象预测的精度，与初选的预报因子有关。因此，对于人工神经网络的构筑，需要有对气象现象的敏锐洞察以及对大气物理的深刻理解。必须求出具有大气物理学的合理性，并抓住现象本质的未知关系。 举个例子： 和 训练对、权阵 计算输出 计算误差并修正权阵 判断kN? 计算网络误差 判断误差改变量允许值 输出权阵和阀值 下 一 个 样 本 下 一 轮 训 练 1、正反问题 用人工神经网络方法 模拟预报我国东部 夏季三类降水型 * * Tanguirong@nuidt.edu.cn 人工神经网络方法简介 输入 输出 WX 函数处理 另一网络的输出 初始输入 该网络输出 5、人工神经网络的主要学习方法 有师学习 无