分类和预测神经网络.ppt

第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 神经网络 概述 神经元 多层感知器网络 网络结构 BP算法 神经网络 概述 神经元 多层感知器网络 网络结构 BP算法 概述 神经网络最早由心理学家、神经学家、数学家共同提出，旨在寻求用于开发和测试神经元 （人脑的基本工作单位）的数学模型。 粗略地说，神经网络是一组相连接的输入/输出单元，其中每个连接都与一个权值相联。 Roughly speaking, a neural network is a set of connected input/output units where each connection has a weight associated with it. (J. Han《Data Mining: Concepts And technology》) 概述 发展历程（主要经历三个发展阶段） 第一阶段（启蒙阶段） 1943年，神经生物学家MeCulloch(麦考克劳斯)和数学家Pitts(皮特斯)合作，提出了第一个神经元模型，从而开创了神经网络的研究。 1949年，Hebb(哈伯)提出了神经元学习准则，为研究神经网络的学习算法奠定了基础。 1958年，Rosenblatt(罗森布莱特)提出了感知器(Perception)模型，并首先将神经网络的研究付诸工程实践，从而激发了大批学者对神经网络的兴趣。 概述 发展历程（主要经历三个发展阶段） 第二阶段（低潮期） 1969年，著名的人工智能专家(也是人工智能的创始人之一)Minsky(明斯基)和Papert(帕伯特)对以感知器为代表的神经元模型进行了深入研究，并指出简单的线性感知器的功能是有限的，它无法解决线性不可分问题。 这一论断给当时神经网络的研究带来了沉重打击，由此出现了神经网络发展史上长达10年的低潮期。 概述 发展历程（主要经历三个发展阶段） 第三阶段（复兴时期） 1982年，Hopfield提出了著名的“Hopfield神经网络模型”，这个模型不仅对神经网络的信息存储和提取功能进行了非线性数学概括，还提出了相应的学习方法，使得神经网络的构造和学习有了理论指导。 在Hopfield神经网络模型的影响下，大批学者又激发起研究神经网络的热情。 此后，神经网络研究步入了一个新的发展时期；一方面，已有理论在不断深化和发展，另一方面，新的理论和方法也不断出现。 概述 依据神经网络的结构和学习算法的不同，神经网络可分为4类： 前向型神经网络：至少包含一个隐含层——多层感知器网络(Multi-layer Perception, MLP)。 反馈型神经网络：至少包含一个反馈回路——Hopfield神经网络。 随机型神经网络：引入随机机制，认为神经元是按照概率原理进行工作的，即：每个神经元的“兴奋”或“抑制”是随机的——玻尔兹曼神经网络。 自组织竞争型神经网络：其输出神经元之间相互竞争，竞争的胜利者用于输出——Hamming神经网络。 概述 本节主要关注“前向型神经网络——多层感知器(Multi-layer Perception, MLP)网络”的构造及其学习算法。 神经网络 概述 神经元 多层感知器网络 网络结构 BP算法 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 其中：Xi(i=1,2,...,n)是输入，wi(i=1,2,...,n)是权值。 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 其中： Σ为n个输入的加权和，即： Σwi*Xi。 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 其中： F表示神经元的激活函数，一般为S型。 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 其中：θ是阈值，用于构造神经元的输出。 神经元 神经元是神经网络的基本计算单元，一个神经元是由多个输入、一个输出、一个内部反馈和阈值组成的非线性单元。 拓扑结构： 其中：Y是神经元的输出，且Y=F(Σwi*Xi -θ)。 神经元——例子 假设： 有图(a)所示的神经元结构——两类分类问题； 激活函数：F(x1,x2)=3x1+2x2-6 神经元的输出：if F(