7贝叶斯分类器的学习.ppt

Viterbi算法 因为需要回朔最优路径，所以建立一个矩阵Φ，其元素 保存第t步，第i个状态在第t-1步的最优状态。 初始化： 迭代计算： 结束： 路径回朔： Viterbi算法图示 “左-右”模型结构 带跨越的“左-右”结构HMM模型 非参数估计的基本思想 非参数估计的基本思想 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计： 相当于用R区域内的平均性质来作为一点x估计，是一种数据的平滑。 Parzen窗方法 定义窗函数 概率密度函数的估计 超立方体中的样本数： 概率密度估计： 窗函数的形式 窗函数的宽度对估计的影响 识别方法 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 概率神经网络(PNN, Probabilistic Neural Network) PNN的训练算法 begin initialize j = 0; n =训练样本数，aij=0 do j ?j + 1 normalize : train : wj?xj if then aji?1 until j = n PNN分类算法 begin initialize k = 0; x ?待识模式 do k ? k + 1 if aki = 1 then until k = n return end 径向基函数网络(RBF, Radial Basis Function) RBF与PNN的差异 PNN模式层神经元数等于训练样本数，而RBF小于等于训练样本数； PNN模式层到类别层的连接权值恒为1，而RBF的需要训练； PNN的训练过程简单，只需一步设置即可，而RBF一般需要反复迭代训练； 径向基函数网络的训练 RBF的训练的三种方法： 根据经验选择每个模式层神经元的权值wi以及映射函数的宽度σ，用最小二乘法计算模式层到类别层的权值； 用聚类的方法设置模式层每个神经元的权值wi以及映射函数的宽度σ，用最小二乘法计算模式层到类别层的权值； 通过训练样本用误差纠正算法迭代计算各层神经元的权值，以及模式层神经元的宽度σ； * 4学时 * 需要推导，DigGauss * 举例说明观察到一个观察序列，可能的状态转移序列，以及每个可能序列输出这个观察序列的概率。 * 举例解释存在很多的重复计算，如w1w1w3w4w2和w1w1w3w4w3之间只有最后一步需要重新计算，前４步都是重复的． * 解释前向计算与反向回朔的过程 * A为模式层到类别层的连接权值 * PNN中隐含了类先验概率的信息，所以累加结果就是后验概率的估计 * 可以把RBF看作PNN的简化版本，将PNN中模式层中相近的神经元用一个代替，而向类别层连接的权值则要由原来的1变为k。 * 最后一种方法类似于GMM，也可以采用EM算法训练。 贝叶斯分类器的学习 引言 贝叶斯分类器中最主要的问题是类条件概率密度函数的估计。 问题可以表示为：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度 。 概率密度函数的估计方法 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。 最大似然估计 样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ： 似然函数 由独立同分布假设，样本集D出现的概率为： 定义对数似然函数： 最大似然估计 最大似然估计就是要寻找到一个最优矢量 ，使得似然函数 最大。 例1 假设手写数字样本满足正态分布，使用最小错误率贝叶斯分类器进行识别，采用降维后的样本； 正态分布最大似然估计结果为： 混合密度模型 一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： 高斯混合模型 (Gaussian Mixed Model, GMM) N(μ,Σ)表示一个高斯分布。 其中： GMM模型产生的2维样本数据 两个高斯函数混合 GMM的训练 K值要预先确定； 需要训练的参数：aj，μj，Σj； 训练算法一般采用EM迭代算法。Expectat