神经网络基本原理.ppt

第四章 智能决策支持系统和智能技术的决策支持 第四节——第六节 4.4 神经网络的决策支持 4.4.1 神经网络的基本原理 4.4.2 神经网络的互连结构 4.4.3 神经网络的学习 4.4.4 神经网络专家系统 4.5 遗传算法的决策支持 4.5.1 遗传算法原理 4.5.2 遗传算法的应用 4.6 机器学习的决策支持 4.6.1 机器学习的概念 4.6.2 机器学习的分类 4.4.1 神经网络的基本原理 1.神经元的数学模型 1943年，由麦克洛奇和皮兹提出，简称MP模型。 i1，i2，…… in为神经元的输入量，Oi为神经元的输入,W ij 为外面神经与该神经连接强度（即权），θ为阀值，f（x）为该神经元的作用函数： Oi＝f（∑WijIi－ θi） i＝1，2，……，n 神经元的输入计算： I＝∑WijIi－ θi （i＝1，2，……，） 2.神经元的作用函数： （1）阶跃函数 （2）Sigmoid函数 （3）高斯型函数 4.4.2 神经网络的互连结构 (1)不含反馈的前向网络 不含反馈的前向网络的结构形态。网络中的神经元分层排列，接受输入量的神经元节点组成输入层，产生输出量的神经元节点组成输出层，中间层亦称为隐层，可以有若干层隐层。每一层的神经元只接受前一层神经元的输入，输入向量经过各层的顺序变换后，由输出层得到输出向量。 (2)从输出层到输入层有反馈的前向网络 从输出层到输入层有反馈的前向网络简称为反馈神经网络。 网络中的神经元也是分层排列，但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入。 （3）层内有相互结合的前向网络 每一层的神经元除接受前一层神经元的输入之外，也可接受同一层神经元的输入。 通过层内神经元之间的相互结合，可以实现同层神经元之间横向的抑制或兴奋机制，从而可以限制一层内能同时动作的神经元的个数，或者实现把一层内的神经元分为若干组，每一组作为一个整体来动作。 (4)相互结合型网络 这种网络中任意两个神经元之间都可能有连接。在不含反馈的前向网络中，输入信号一旦通过某个神经元就将输出这个信号的变换值。但是，在相互结合型网络中，输入信号要在神经元之间反复往返传递，网络处于一种不断改变状态的动态之中。从某初态开始，经过若干次的状态变化，网络才会到达某种稳定状态，根据网络的结构和神经元的映射特性，网络还有可能进入周期振荡或其他平衡状态，如混沌状态。 4.4.3 神经网络的学习 4.4.4 神经网络专家系统 1.神经网络的知识表示 2．神经网络的知识自动获取 3．神经网络的知识推理与解释 神经网络专家系统与一般专家系统的不同： 5．神经网络专家系统的结构 1）确定系统框架 神经元个数 神经元网络层次 网络单元的连接 2）学习样本 学习样本是实际问题中已输入与输出结果的实例、公认的原理、规则与事实；分为线性样本与非线性样本。 3）学习算法 4）推理机 5）知识库 主要存放各个神经元之间的连接权值。 6）输入模型转换 将逻辑概念转换为数值形式。 7）输出模型转换 将数值形式的输出转换为逻辑概念。 4.5.1 遗传算法原理 1.遗传算法的工作过程 首先将问题的每个可能的解按照某种形式进行编码，编码后的解称为个体（染色体）。 随机选取N个个体构成初始种群，再根据预定的评价函数对每个个体计算适应值，使得性能较好的染色体具有较高的适应值。 选择适应值高的个体进行复制，通过遗传算子，来产生一群新的更适应环境的个体，形成新的种群。 1）群体种个体的编码 问题的编码就是将问题描述成位串的形式。一般将问题的参数采用二进制位编码构成子串，再将子串拼接起来构成位串。 2）适应值函数的确定 适应值函数（评价函数）是根据目标函数确定的。适应值总是非负的，任何情况下，希望越大越好。 3）遗传算子 4）控制参数的设定 遗传算法中的参数包括群体中个体的数目、交叉概率、变异概率等。 这些参数的设定随具体问题的不同将有所不同，具有经验性，它会影响遗传算法的迭代收敛过程。 2.遗传算法的基本特征 4）遗传算法使用的3种遗传算子是一种随机操作，而不是确定规则。 5） 遗传算法的并行性。 6）易于介入到已有模型中，并具有可扩展性，易于同别的技术结合使用。 4.5.2 遗传算法的应用 已知n个城市的地理位置(x,y),求经过所有城市,并回到出发城市且每个城市仅经过一次的最短距离。 4.6.