[数学]模式识别方法总结.ppt

贝叶斯判别的核心问题是： 样本为特征向量X时，它属于哪一类可能性有多大。如能确定属于各个类别的百分比(概率)，分类决策就有了依据。 类条件概率密度通过计算，换算成如下图所示的后验概率分布。可以看出，在X值小时，判断为ω1 类是比较合理的，判断错误的可能性小。 考虑两类别一维特征向量情况，R1与R2两个区域的分界线不再是t，而是向左移了一段距离（t1)。这是由于损失函数λ12比λ21大所造成。在发生位移这一区域内，尽管P(x|ω1)P(ω1)P(x|ω2)P(ω2)，但是为了减少将ω2错判为ω1所带来的严重损失，在P(x|ω2)P(ω2)不很小的情况下，使将ω2类样本错判为ω1的可能性减小，以减小决策所承担的风险。当然平均错误率则明显增大了。 　　　分析w1方向之所以比w2方向优越，可以归纳出这样一个准则：即向量W的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。寻找最好的投影方向, 在数学上就表现为寻找最好的变换方向w*。 　　对于待分类样本x, 在N个样本集中找出它的k个近邻, 设k个样本中属于第i类的为ki个(i=1, 2, …, m), 即 定义判别函数: 判决准则为 若 ，则 x∈ωj 图4-22 　 8-近邻示意图 多输入、单输出 u1, u2, …, un是从外部环境或其他神经元传来的输入信号; k1, k2, …, kn是对应于输入的连接权值; θ是一个阈值; 函数 g: R→R 为传递函数, 也称为激活函数； y表示神经元的输出。 人工神经元模型 　　(1) 阈值型函数。 阶跃函数： 符号函数： 常用的基本激活函数 　　(2) 分段线性函数： (3) Sigmoid函数： 或 Sigmoid函数示意图 (a) 取值在(0, 1)内; (b) 取值在(－1, 1)内 神经网络结构 　　神经网络是由大量的人工神经元广泛互连而成的网络。 根据网络的拓扑结构不同, 神经网络可分为： 层次型网络：前馈网络（感知器、 BP网络、RBF网络）和反馈网络（ Hopfield网络） 网状结构网络（自组织竞争网络） 　　1. 前馈网络 结构：神经元分层排列，网络由输入层、中间层(也称隐含层)、 输出层组成； 特点：每一层的各神经元只能接受前一层神经元的输出, 作为自身的输入信号。 单层前馈神经网络 多层前馈神经网络 　　多层前馈网络有一个或多个隐含层。 2. 反馈网络 特点：反馈网络的输出层接有反馈环路, 将网络的输出信号回馈到输入层。 单层反馈神经网络 神经网络的学习方法 　　神经网络信息处理包括学习和执行两个阶段。　(1) 学习阶段也称为训练阶段：给定训练样本集, 按一定的学习规则调整权系数, 使某种代价函数达到最小, 也就是使权系数收敛到最优值。 　(2) 执行阶段：利用学习阶段得到的连接权系数, 对输入信息进行处理, 并产生相应的输出。 根据学习过程的组织与管理, 神经网络的学习可分为: ① 有教师(有监督)学习。 对每一个输入训练样本, 都有一个期望得到的输出值(也称教师信号), 将它和实际输出值进行比较, 根据两者之间的差值不断调整网络的连接权值, 直到差值减小到预定的要求。  　② 无教师(无监督、自组织)学习。 网络的学习完全是一种自我调整的过程, 不存在教师信号。输入模式进入网络后, 网络按照预先设定的某种规则反复地自动调整网络结构和连接权值, 使网络最终具有模式分类等功能。 　　学习规则 wij(k+1)=wij(k)+Δwij 单层前馈神经网络 yj j xi i wij  输入模式为n维矢量x=(x1, x2, …, xn)T，输入层包含n个节点； 输出模式为m个类别ω1, ω2, …, ωm，输出层有m个输出节点 y1, y2, …, ym, 每个输出 节点对应一个模式类； 输入节点i和输出节点j 的连接权为wij (i=1, 2, …, n; j=1, 2, …, m)。 单层感知器网络结构图 传递函数 f 采用符号函数。 输出层第j个神经元的输出为 单层感知器网络结构图 若 yj=1, 则将输入模式x判属ωj类; 若yj=－1, 则输入模式x不属于ωj类。 学习规则： 第4章　线性判别分析 机器实现自动分类有两大类方法： 模板匹配 对特征空间划分子空间(每类的势力范围) 这里是针对第二种方法而言的。 分类方法总结 贝叶斯判别：基于样本概率，若无概率信息，需参数估计。 非参数判别：利用样本直接计算判决函数中的有关参数。 监督（有教师）：利用某些已知类别的样本进行分类。