上海交通大学人工神经网课程第二讲课案.ppt

§2.6 感知器学习规则、算法以及收敛性定理 2.6.3 感知器的收敛性 收敛定理：（1958年Rosenblatt 里程碑式的进展） 假设函数线性可分，那么经过感知器学习算法有限次迭代后，可以收敛到正确的权值或者权向量。 假定① 训练样本为单位向量 ； ② 依据函数的线性可区分性，将所有小于0的输出 都归化为大于0的输出 ，即 则以 替换 ，则有 只需证明：如果存在 使得 则 下列迭代中第4步仅需有限次数。 第二讲神经网络的学习规则和感知器 §2.6 感知器学习规则、算法以及收敛性定理 [证明] 假设 与 夹角余弦 可以证明 第二讲神经网络的学习规则和感知器 §2.7 本讲问题 (1)什么样的学习训练算法将提供最佳的学习？ (2)如何解决“异或”问题？ (3)机器学习、人工智能与ANN关系及其当代进展 一个单层网络可以将空间划分成两部分，用多个单层网络组合在一起，并用其中的一个去综合其它单层网络的结果，构成一个二层网络，即可用来在空间划分出一个封闭或开放的凸域（子空间）。 x1 z0 xn z1 zn 多层网络 第二讲神经网络的学习规则和感知器 * * * * * * * * §2.3 人工神经网络的基础 ◆信息存储 2.3.1.4 人脑与计算机信息处理能力的比较 第二讲神经网络的学习规则和感知器 §2.3 人工神经网络的基础 ◆信息处理方式 2.3.1.4 人脑与计算机信息处理能力的比较 第二讲神经网络的学习规则和感知器 计算机模拟人脑智能方面差的原因（几种观点）： ①没有找到更好地模拟人类智能的算法（着手研究AI），软件+算法=人智能； ②研究一般问题的求解算法和专门问题的求解算法，认为：软件+算法≠计算机智能化； ③智能化问题的关键是突破传统的Von Neumann计算机体系，研究人脑的基本计算结构。 §2.3 人工神经网络的基础 第二讲神经网络的学习规则和感知器 2.3.２ PDP模式（并行的分布式模型） PDP模型的表示方法：人工神经网络表示法(类似于人脑神经网络的体系结构，通过学习训练适应不同的知识体系)。 在PDP模型中，知识是由单元之间的连接强度表示的（信息表达是分布的，信息处理是并行的）。 采用人工神经网络表示法的PDP模型的优点： ① 易于形成新概念（网络中新的连接通路就是一个新概念的形成）； ② 由局部ANN还易于实现相似性推理和归纳推理。 比如人脑记忆中信息的恢复、再现时具有按内容寻址的PDP模式信息处理过程。 §2.3 人工神经网络的基础 第二讲神经网络的学习规则和感知器 2.3.3 PDP模式的质疑 ① PDP模式与感知机差不多，Minsky在此就认为感知机模式不能解决任何有意义的问题； 支持观点：PDP有反馈、学习，具有感知机模式不具有的功能。 ② PDP模式难于进行递归处理； PDP模式认为递归处理不是人脑计算的本质过程。 ③ PDP模式与Marr的视觉计算理论类似，该理论本身就有争议； ④…… §2.3 人工神经网络的基础 第二讲神经网络的学习规则和感知器 2.3.4 网络理论 2.3.4.1 ANN与经典计算机的并行机制 ANN的信息和知识是保存在神经元之间的连接中; 经典计算机的信息和知识是另外保存在存储器中,并行单元愈多,通信量愈大. 2.3.4.2 分层网络结构 人脑的认知过程是一个高度并行的网络结构,同时其神经系统也是一个分层网络结构。 单层网络只能进行线 性分类，多层感知器不是 简单的线性多层网络，在 每个节点之间（单向）是 非线性函数，可以进行比 较复杂的分类。 §2.3 人工神经网络的基础 第二讲神经网络的学习规则和感知器 §2.3 人工神经网络的基础 Deep Learning,具有层次性,认为深度学习是AI的新的前沿 皮层中,层次性无处不在 第二讲神经网络的学习规则和感知器 §2.4 机器学习与神经网络学习 2.4.1 机器学习 2.4.2 神经网络学习及其分类 第二讲神经网络的学习规则和感知器 2.4.1 机器学习 机器学习━━AI的一个分