第8章人工神经网络在物性估算中的应用.ppt

* * 第8章 人工神经网络在物性估算中的应用 8.1 神经网络理论的发展及沿革 8.2 神经网络的基本原理 8.3 几种典型的人工神经网络的基本原理及应用策略 8.4 神经网络物性估算应用策略及实例应用 总目录 8.1 神经网络理论的发展及沿革 8.1.1生物神经网络和人工神经网络 概念 生物神经网络 生物特有的对外界的各种刺激快速有效地做出有效应反应的神经网络。 典型的生物神经网络 ：人脑 人工神经网络 是对生物神经网络的模拟，神经元也由生物神经元，变成了人工神经元。 总目录 本章目录 上页 下页 8.1.2 人工神经网络的发展历史 第一阶段 是早期工作阶段 1943年，心理学家Mc Culloch和数学家Pitts合作提出了形式神经元的数学模型（简称MP模型） 1949年D.O．Hebb从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则 1961年E·Rosen blatt提出了著名的感知机（Perceptron）模型 第二阶段 是过渡期阶段 1962年，Widrow提出了主要适用于自适应系统的自适应线性元件（Adaline）网络 本章目录 上页 下页 总目录 1969年，人工智能创始人之一美国麻省理工学院的Minsky和Papert以感知器为名出版了一本书 第三阶段 是复苏阶段 1982年，HoPfield提出了神经网络一种新的数学模型——HoPfield网络模型 Hinton和Sejnowski于1984年提出的Boltzmann机模型 Rumelhart和McCelland为首的科学小组，于1986年提出误差逆传播网络及其学习算法 第四阶段 成熟理智阶段 本章目录 上页 下页 总目录 8.1.3 人工神经网络物性估算中的应用及未来发展趋势 有关人工神经网络在化学化工方面的应用研究在80年代后期才有报道。主要分成五类： 谱图分析 结构与性质预测 信号处理 过程控制和故障诊断 化学反应产物估计 本章目录 上页 下页 总目录 8.2 神经网络的基本原理 8.2.1 神经元的基本生物特性 生物神经元 详见教材 8.2.2 神经元的基本数学表达 目前对生物神经元的认识而言，神经元的数学模型可用图8-4及式8-1，8-2表示。 （8-1） （8-2） 本章目录 上页 下页 总目录 上面神经元示意图及数学模型中，xi是输入神经元的信号，wi是输入各信号的权重，θ是神经元的输出阀值，只有当输入神经元各信号的加权之和大于神经元的输出阀值，神经元才有输出信号。 输出响应函数 阶约响应函数 符号函数 S（Sigmoid）型响应函数 （8-3） （8-4） （8-5） 本章目录 上页 下页 总目录 8.2.3 神经网络的基本结构类型及学习规则 基本连接结构有两种 ： 阶层型： 图8-6 阶层型神经网络 本章目录 上页 下页 总目录 图8-7 全互连型神经网络 全互连型 无论哪种形式的神经网络都有一个共同的特点：网络的学习和运行取决于个神经元连接权值及阀值的动态演化过程。 决定神经网络特性的因素有两个，它们分别是网络的拓扑结构和网络的学习、工作规则。 本章目录 上页 下页 总目录 人工神经网络的训练 几种典型的学习规则 （1）Hebb学习规则 原则是如果两个神经元同时兴奋，则它们之间的连接权值增加，对于相互连接节点i和j，其输出值分别为ai和bj，则根据下式调整权重： (8-6) 其中?j是节点j的学习速度常数，0＜?j＜1。 （2）随机学习规则 应用统计学、概率论随机调节连接权重。其特点是只接受可使误差矢量?减小的随机权重变化。 本章目录 上页 下页 总目录 （3）误差修正学习 现今应用最普遍的人工神经网络学习方法，是一种有监督学习。 误差修正学习是通过定义输出层某一节点t的输出误差开始的： 然后计算输出层的总平方误差： 已知E，可以计算出与第j个节点连接的第i个连接权重因子的变化?wij： （8-7） （8-8） （8-9） 本章目录 上页 下页 总目录 8.2.4 神经网络解决物性估算问题的基本策略 用神经网络来估算物质的性质必须解决三个基本问题。 第一个 是对物质的表针问题 第二个 是采用何种神经网络及其算法问题 第三个 问题是神经网络输入与输出数据的归一化问题 本章目录 上页 下页 总目录 8.3 几种典型的人工神经网络的基本原理及应用策略 8.3.1 BP网络 1）网络的基本原理 BP网络是目前应用最广，其基本思想最直观、最容易理解的阶层型神经网络