第三章-统计模式识别中的概率分类法PPT课件.pptxVIP

第三章-统计模式识别中的概率分;3.1引言3.2最;无标题;通过判决函数，特征空间被区分界;许多实际情况，即使在类型A的条;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;例1：为了对癌症进行诊断，对一;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;无标题;聂曼—皮尔逊判决规则的基本思想;无标题;无标题;无标题;无标题;无标题;所以此时聂曼——皮尔逊分类器的;无标题;无标题;无标题;无标题;无标题;无标题;使最大可能的平均风险为最小但;无标题;无标题;3.7分类器设计1.判别函;无标题;无标题;无标题;指x的维数：在一维空间，对应的;3）分类器设计功能：先设计出c;3．两类情况（1）判决函数决策;无标题;无标题;3.8正态分布决策理论;3、（多变量）多维正态分布;(2)、性质：;③、不相关性等价于独立性。若x;无标题;无标题;⑤、线性变换的正态性Y=AX，;判别函数：类条件概率密度用正态;二、最小错误率(Bayes)分;判别函数：如果M类先验概率相等;最小距离分类器：未知x与μi相;无标题;讨论：;未知x，把x与各类均值相减，把;无标题;讨论：针对ω1，ω2二类情况，;3、第三种情况(一般情况)：Σ;无标题;无标题;无标题;无标题;无标题;w指向的一侧为正，是w1的区域;3.12参数估计与非参数估计;3.12.1参数估计与监督学;二．监督学习与无监督学习监督学;3.12.2参数估计理论;1.一般原则：第i类样本;对θi求导,并令它为0：有时上;2.多维正态分布情况①∑;所以这说明未知均值的最大似然估;②∑，μ均未知A.;讨论：1.正态总体均值的;二.贝叶斯估计最大似;下面以正态分布的均值估计为例说;因为N个样本是独立抽取的，所以;∴P(μ|xi)是u的二次函;解以上两式得将μN,σN2;∴对μ的估计为若令P(μ)=;三．贝叶斯学习1.贝叶斯学习的;无标题;2．类概率密度的估计;无标题;结论：①把第i类的先验;⑵多维正态（已知Σ，估计μ;这就是在多维情况下，对μ的估计;3.12.3非参数估计;假设有N个样本X=(X1,X;∴∴条件密度的估计：;对体积V进行改进：为了估计X点;若PN(x)收敛于P(x)应满;如何选择VN满足以上条???：①;2.Parzen窗口估计假设R;∵ф(u)是以原点x为中心;讨论：①每个样本对估计所;③要求估计的PN(x)应满足;例1：对于一个二类（ω1，;∵x是一维的上式用图形表示是6;由图看出，每个样本对估计的贡献;例2：设待估计的P(x)是个均;用窗法估计单一正态分;讨论：由图看出,PN(x)随;例3。待估的密度函数为二项分布;N=∞N=256N=16N=1;当N=1、16、256、∞时;结论：①由上例知窗口法的优点;3.KN近邻估计：在窗口法中存;使PN(x)收敛于P(x)的充;∴KN近邻估计对KN和VN都作;根据Bayes公式可求出后验概;K近邻分类准则：对于待分样本x;4、最近邻分类准则：待分样本x