2014神经网络解读.ppt

神经元与神经网络 神经元与神经网络 神经元与神经网络 神经元与神经网络 神经元与神经网络 神经元与神经网络 神经元与神经网络 一、神经网络的概念和应用 一、神经网络的概念和应用 一、神经网络的概念和应用 神经网络的基本特征 神经网络的功能性 神经网络的优越性 神经网络的应用领域 神经网络的应用领域 神经网络的应用领域 神经网络的应用领域 二、神经网络模型 Hopfield神经网络 Hopfield神经网络 Hopfield神经网络 Hopfield神经网络 Hopfield神经网络 Hopfield神经网络 生物VS人工神经网络 三、神经网络的动力学问题 三、神经网络的动力学问题 四、神经网络的研究热点 神经网络的研究意义 平衡点——收敛性 极限环——分支理论、振荡问题 周期解——存在性、稳定性 混沌吸引子——分形、蝴蝶效应 《Qualitative Analysis and Synthesis of Recurrent Neural Networks》 《On the mathematical clarification of the snap-back-repeller in high-dimensional systems and chaos in a discrete neural network model》 时滞(Delay) 脉冲(Impulse) 耦合(Coupling) 图模型(Graphical Models) 递归神经网络(Recurrent Neural Networks) * * 神 经 网 络 现代数学的应用之—— 生物神经网络（自然神经网络/Biological Neural Networks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。 人工神经网络（类神经网络/Artificial Neural Networks, ANN）是一种基于模仿生物大脑神经结构和功能而进行信息处理的数学模型。是对人脑若干基本特性的抽象和模拟，也常简称为神经网络。 神经网 大脑可视作由1011个神经元通过1015个联接组成的一个系统 生物神经元的基本组成 细胞体 突起 树突 轴突 神经元的解剖图 神经元的信息传递和处理是一种电化学活动： 树突由于电化学作用接受外界的刺激； 通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位； 再通过轴突末梢传递给其它的神经元。 从控制论的观点来看，信息传递过程可看作一个多输入单输出非线性系统的动态过程。 输入与输出具有关系 其中： x = (x1，…xm)T 为输入 y 为输出 wi 为权系数 θ为阈值 神经元的数学模型 f(x) 为激励函数，可以是线性函数，也可以是非线性函数。如恒等函数、阈值函数、符号函数、S型函数等。 若记： 取激发函数为符号函数： 则： 若将阈值看作是一个权系数，-1 是一个固定的输入，另有 m 个正常的输入，则表达式也可表示为： 增广向量 神经网络理论是巨量信息并行处理和大规模平行计算的基础，神经网络既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。 从解剖学和生理学来看，人脑是一个复杂的并行系统，它不同于传统的Neumann式计算机，更重要的是它具有“认知”“意识”和“感情”等高级脑功能 。 人工神经网络是一种运算模型，由大量节点和之间联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接代表一个对于通过该连接信号的权重（weight），相当于神经元的记忆。 人工神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。 人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应变化而进行信息处理。 硬件设备、生物组织、识别系统、权学习的动力系统、数学算法…… 人工神经网络是由大量简单处理单元（神经元/光学元件）通过广泛并行、相互联接而成的高度错综复杂的非线性、自适应信息处理网络系统。 非线性 ——智慧是一种非线性现象。激活或抑制行为在数学上表现为一种非线性关系。 非局限性——神经网络通常由多个神经元广泛连接而成。联想记忆是非局限性的典型例子。 非常定性——神经网络具有自适应、自组织、自学习能力，常用迭代过程描述演化过程。 非凸性——能量函数有多个极值，系统具有多个较稳定的平衡态，系统多样性。 具有自学习功能 具有联想存储功能 具有高速寻找优化解的能力 能够同时处理定量、定性知识 可学习和自适应不知道或不确定的系统 采用并行分布处理方法，使快速进行大量运算成为可能 充分逼近任意复杂的非线