人工智能概论（通识课）配套课件.ppt

8.2 模式识别 8.2.1 基本原理与方法 1. 模式、模式类与模式识别 定义 8-1 能够表征或刻画被识对象类属特征的信息模型称为对象的模式（pattern）。 定义 8-2 具有某些共同特性的模式的集合称为模式类，判定一个待识模式类属的过程称为模式识别。 2. 模式的表示 最常用的模式表示形式有向量和字符串。 常见的几种神经元激活函数 1. 阶跃函数 2. Sigmoid函数 3. 分段线性函数 7.2.2 神经网络及其学习 1. 神经网络的拓扑结构与功能 (1) 分层前向（馈）网络 (2) 反馈前向网络 (3) 互连前向网络 (4) 广泛互连网络 神经网络结构模型 神经网络至少可以实现如下功能： ? 数学上的映射逼近 ? 数据聚类、压缩 ? 联想记忆 ? 优化计算和组合优化问题求解 ? 模式分类 ? 概率密度函数的估计 2.神经网络学习机理与方法 　(1) 学习规则 Hebb规则： 最基本的误差修正规则,即δ学习规则： 　 步1 选择一组初始权值Wij(0)。 步2 计算某一输入模式对应的实际输出与期望输出的误差（dj－yj） 。 步3 用下式更新权值(阈值可视为输入恒为-1的一个权值) Wij(t＋1)=Wij(t)＋η［dj－yj(t)］xi(t) 步4 返回步2，直到对所有训练模式网络输出均能满足要求。 (2) 学习方法 ? 根据样例数据的特点神经网络学习有监督学习和无监督学习之分。 ? 从神经网络内部状态变化的角度来分，神经网络学习可分为权值修正、拓扑变化、权值与拓扑修正三种。 ? 神经网络学习还可分为确定性学习与随机性学习。 ? 此外，神经网络学习还有竞争学习、BP学习、玻尔兹曼学习、迁移学习、深度学习等提法。 7.2.3 神经网络模型及其分类 按网络结构分类 前向（馈）网络 反馈网络 2. 按学习方式分类 有监督（导师）学习网络 无监督（导师）学习网络 3. 按网络的状态分类 连续型网络 离散型网络 4. 按网络的活动方式分类 确定性网络 随机性网络 7.2.4 BP网络及其学习举例 BP(Back-Propagation)网络的特点： (1) BP网络的拓扑结构为分层前向（馈）网络。 　 (2) 神经元的特性函数为Sigmoid型(S型)函数, 一般取为  (3) 输入为连续信号量(实数)。 (4) 学习方式为有监督学习。 　(5) 学习算法为推广的δ学习规则, 称为误差反向传播算法, 简称BP学习算法。 BP学习算法： 　 例 7-1 设计一个BP网络, 对下表所示的样本数据进行学习, 使学成的网络能解决类似的模式分类问题。 输 入 输 出 x1 x2 x3 y1 y2 y3 0.3 0.8 0.1 0.7 0.1 0.3 0.6 0.6 0.6 1 0 0 0 1 0 0 0 1 BP网络举例 7.3 深度学习 7.3.1 什么是深度学习 深度学习（Deep Learning, DL），简单来讲，就是基于深度神经网络的神经网络学习或者说机器学习。这里的深度神经网络，一般地讲，就是含有多个隐层的前向（前馈）神经网络，其隐层个数依具体问题可以是数个、数十个、数百个甚至数千个。不过，更准确地说，深度神经网络的一个隐层可能是一行神经元，也可能是一行由神经元排列而成的矩阵，甚至是一行网络模块，而且各层神经元之间并非必须是全连接。 深度学习的优异效绩主要归功于以下两点： 其一：深度网络有自动特征发现（Automating feature discovery）的潜质和特性。 其二：深度学习所采用的“逐层训练，多级学习（抽象）（learning multiple levels of representation）”等技术技巧。 7.3.2 深度学习的优势 除了学习效果优异外，深度学习的优势和吸引力还在于需要较少的人工干预。事实上，采用深度学习，我们不需要手工制作正确的特征或合适的基函数（Basis function），也不必担心网络结构。一旦有充足的数据和足够强大的计算能力，我们就只需等待，让学习算法独自发现所需要的一切。