- 1、本文档共50页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
模式识别-第6讲-线性判别函数2详解
引入余量b,其维数为N,数值大于零,任何实数,使得下列等式成立。 1.1 共轭梯度法 定义的准则为: 准则的理解: 如果Yab,则(Ya-b)和|Ya-b|同号,其结果Jq1(a)=0。 如果存在某些规范化增广样本向量yi,使得yiab,则(Ya-b)和|Ya-b|异号,其结果Jq1(a)0。 yiab的样本向量yi个数越多,Jq1(a)越大。 Jq1(a)与 权向量a成函数关系。 Jq1(a)与权向量a成函数关系,与它的极小值相应的权向量a则为最优解a*。 1.2 有哪些信誉好的足球投注网站法 定义的准则为: Jq2(a)所表示是权向量a所满足的不等式的数目。 2 最小平方误差准则函数(MSE) 感知准则函数及其梯度下降算法的缺点:只适用于线性可分情况,对于线性不可分情况,选代过程永远不会终结,即算法不收敛。 在实际问题,事先无法知道样本是否线性可分,因此需要寻求更适合一般情况的算法。 对于两类问题,已知N个训练样本,寻找权向量a,使得aTyi大于零,i=1,2,…,N.将不等式该成等式的形式为aTyi=bi0;bi是任意给定的正常数。N个方程写成书上的表达式。 样本数N总是大于维数(d+1) ,因此Y是长方阵。一般为列满秩阵。 方程个数多于未知数,它为矛盾方程组,通常没有精确解存在。但可以寻找最小二乘解。 定义一个误差向量e 最小平方误差准则函数(MSE) YTY是(d+1)?(d+1) 方阵。存在逆矩阵。 解向量a*是依赖向量b。 两个结论: 若N1个训练样本属于?1,N2个训练样本属于?2,取bi=N/N1,N=N1+N2 (i=1,2,..,N1), bi=N/N2,(i=N1+1,..,N),则在线性可分的情况下,MSE解与Fisher线性判别函数等价。 若选取全部bi=1,(i=N1+1,..,N),MSE解与Bayes决策解之间的均方误差到达极小。 计算(4)式伪逆存在问题: 要求矩阵 是非奇异的。 计算量大。 采用(5)式梯度下降法递归求解 样本看成无限重复的序列,即单样本修改权向量,如下式所示: 其中, 为使得 的样本。 随机MSE准则函数及其随机逼近算法---样本看成是随机样本集,权向量求解也看随机最优化问题。 举例 利用MSE求解权向量 x2 x1 X4 (1,1) X3 (1,0) X1 (0,0) X2 (0,1) * * * * * * * * * * * 2012.9.21第4周星期五 专升本第8次课结束! 2012.9.21第4周星期五 计算机第8次课结束! 2012.10.08第7周星期一 理学院第8次课结束! 第1章 绪论 * 模式识别 授课教师 薛耀红 xueyh@cust.edu.cn 第6讲 线性判别函数(2) 优化算法(补充知识) 梯度(下降)法 / 最速下降法 共轭梯度法 1. 梯度(下降)法(最速下降法) 基本原理 无约束最优化问题 如何产生下降方向Pk? (1)给定初始近似点x(0)及精度εO若 ,则x(0)即为近似极小点。 (2)若 ,求步长λ0,并计算 算法步骤 (3) 若 ,则 x(k) 即为求的近似解; 若 ,则求步长λk,并确定下一个近似点。 如此继续,直至达到要求的精度为止。 若f(x)具有二阶连续偏导数,在x(k)作 的泰勒展开: 对λ求导并令其等于零,则得近似最佳步长 2. 共轭梯度法 共轭方向和共轭方向法 共轭是正交的推广。 定理1 设A为n×n对称正定矩阵,P(1), P(2) , ,P(n) ,为A共轭的非零向量,则这一组向量线性独立。 几何意义 正定二次函数极小问题 定理2 共轭方向法 如何选取一组共轭方向? 共轭梯度法 以下分析算法的具体步骤。 一般函数的共轭梯度法 本节课主要内容 最小错分样本数准则 共轭梯度法 有哪些信誉好的足球投注网站法 最小平方误差准则函数(MSE) 1 最小错分样本数准则 感知准则函数及其梯度下降算法只适用于线性可分情况。对于线性不可分情况,迭代过程永远不会终结,即算法不收敛。 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 在实际问题中往往无法事先知道样本集是否线性可分,因此,希望找到一种既适用于线性可分情况,又适用于线性不可分情况的算法。 这种算法具有特点: 对于线性可分问题,可以得到一个如感知准则函数那样的解向量a*
文档评论(0)