第六讲神经信息处理1.ppt

信息科学技术概论 《智能信息处理》课程 第六讲 神经信息处理技术（1） 谭营 神经网络 神经网络介绍 神经网络发展历史 神经网络基础 神经网络的学习方法 前馈神经网络模型及其主要算法 反馈神经网络模型及其主要算法 神经网络信息处理 几个应用实例 电子课件下载信息 课件下载： 系ftp：6 用户名： cis 密码：cis07。 1、神经网络的有关概念 人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。 简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟。 人工智能 研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派 1.1 人工神经网络的提出 1.1.2 物理符号系统 1.1 人工神经网络的提出 困难： 抽象——舍弃一些特性，同时保留一些特性 形式化处理——用物理符号及相应规则表达物理系统的存在和运行。 局限： 对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。 1.1 人工神经网络的提出 1.1.3 联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练 1.1 人工神经网络的提出 1.1.4 两种模型的比较 心理过程 逻辑思维 高级形式（思维的表象） ?? 生理过程 形象思维 低级形式（思维的根本） ? 仿生 人工神经网络 1.1 人工神经网络的提出 物理符号系统和人工神经网络系统的差别 1.1 人工神经网络的提出 两种人工智能技术的比较 1.2 人工神经网络的特点 信息的分布表示 运算的全局并行和局部操作 处理的非线性 1.2.1 人工神经网络的定义1 1）Hecht—Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。 1.2.1 人工神经网络的定义1 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 1.2.1 人工神经网络的定义1 强调： ① 并行、分布处理结构； ② 一个处理单元的输出可以被任意分枝，且大小不变； ③ 输出信号可以是任意的数学模型； ④ 处理单元完全的局部操作 1.2.1 人工神经网络的定义2 （2） Rumellhart，McClelland，Hinton的PDP 1）? 一组处理单元（PE或AN）； 2）? 处理单元的激活状态（ai）； 3）? 每个处理单元的输出函数（fi）； 4）? 处理单元之间的联接模式； 5）? 传递规则（∑wijoi）； 6）? 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7）? 通过经验修改联接强度的学习规则； 8）? 系统运行的环境（样本集合）。 人工神经网络的定义3 （3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 人工神经网络的特点 2、关键点 （1）?????? 信息的分布表示 （2）?????? 运算的全局并行与局部操作 （3）?????? 处理的非线性特征 3、对大脑基本特征的模拟 1）? 形式上：神经元及其联接；BN对AN 2）? 表现特征：信息的存储与处理 人工神经网络的别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems） 自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer） 学习能力 人工神经网络可以根据所在的环境去改变它的行为 自相联的网络 异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。——“抽象”功能。 不同的人工神经网络模型，有不同的学