- 1、本文档共12页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
优化算法和梯度下降法
12 局部优化算法之一:梯度下降法 李金屏 济南大学信息科学与工程学院 2006年9月 优化算法和运筹学 优化算法 许多实际问题利用数学建模的方法得到下面常规的优化形式: min f(x),s.t. g(x) ≥0, x∈D. 其中,x是一个n维矢量,D是问题的定义域,F可行域。 关于f(x): 当x=(x)时,f(x)是一条曲线; 当x=(x1, x2)时,f(x1, x2)是一个曲面; 当x=(x1, x2, x3)时,f(x1, x2, x3)是一个体密度(或类位势函数); 当x=(x1, x2, …, xn)时,f(x1, x2, …, xn)是一个超曲面。 优化算法和运筹学 曲面,自然有许多极大值和极小值,必然各有一个全局最大值和全局最小值。 超曲面,与上相同。 有些算法,只能在自己的小范围内有哪些信誉好的足球投注网站极大值或极小值。这些算法称为局部优化算法,常称为经典优化算法。 另有些算法,可以在整个超曲面取值范围内有哪些信誉好的足球投注网站最大值或最小值。这些算法称为全局性优化算法,又称为现代优化算法。 优化算法和运筹学 局部优化算法之一:梯度下降法 见右图。局部极小值是C点(x0)。 梯度,即导数,但是有方向,是一个矢量。曲线情况下,表达式为 局部优化算法之一:梯度下降法 一般情况下分析: y=f (x1, x2, …, xn) 假设只有一个极小点。初始给定参数为 (x10, x20, …, xn0)。问题: 从这个点如何有哪些信誉好的足球投注网站才能找到原函数的极小值点? 方法: 1、首先设定一个较小的正数?,?; 2、求当前位置处的各个偏导数:dy/dx1, dy/dx2, …, dy/dxn; 3、按照下述方式修改当前函数的参数值: x10?x10 ? ? dy/dx1, x20?x20 ? ? dy/dx2, …, xn0?xn0 ? ? dy/dxn; 4、如果超曲面参数变化量小于?,退出;否则返回2。 局部优化算法之一:梯度下降法 举例:y=x2/2-2x 计算过程: 任给一个初始出发点,设为x0=-4。 (1) 首先给定两个参数:?=1.5,?=0.01; (2) 计算导数:dy/dx = x-2 (3) 计算当前导数值:y’=-6 (4) 修改当前参数: x0=-4 ? x1= x0 - ?*y’ =-4-1.5*(-6)=5.0; 局部优化算法之一:梯度下降法 (7) 计算当前导数值: y’=-1.5 (8) 修改当前参数: x2=0.5?x3=0.5-1.5*(-1.5) =2.75; (9) 计算当前导数值:y’=0.75 (10) 修改当前参数: x3=2.75? x4 = 2.75-1.5*(0.75) =1.625; (11) 计算当前导数值: y’=-0.375 局部优化算法之一:梯度下降法 可见,当?=1.5时,有哪些信誉好的足球投注网站呈现振荡形式,在极值点附近反复有哪些信誉好的足球投注网站。可以证明,当?1.0时,有哪些信誉好的足球投注网站将单调地趋向极值点,不会振荡;当?2.0时,有哪些信誉好的足球投注网站将围绕极值点逐渐发散,不会收敛到极值点。 为了保证收敛,?不应当太大。但如果过小,收敛速度将十分缓慢。可以采用自适应调节?的方法加快收敛而又不至于发散。 问题:为何当?很小时有哪些信誉好的足球投注网站总会成功? 证明:(下页) 局部优化算法之一:梯度下降法 y=f (x1, x2, …, xn)。假设只有一个极小点。 假设当前点为(x1, x2, …, xn)。下面修改当前参数: x1?x1+?x1, x2?x2+?x2, …, xn?xn+?xn. 显然问题在于?xi (i=1,2,…, n)的确定。 于是,当前函数值为y=f (x1+?x1, x2+?x2, …, xn+?xn). 可以按照泰勒级数展开为: y=f (x1, x2, …, xn) + ?f 其中?f=?x1*(dy/dx1)+ ?x2*(dy/dx2)+ … + ?xn*(dy/dxn) 如何保证?f0? (有哪些信誉好的足球投注网站极小值) 局部优化算法之一:梯度下降法 可以按照下述方式: ?x1= - ?*(dy/dx1), ?x2= - ?*(dy/dx2), …, ?xn= - ?*(dy/dxn). 其中?0是个小的正数。代入前式,有 ?f = - ?*(dy/dx1)*(dy/dx1) - ?*(dy/dx2)*(dy/dx2) - … - ?*(dy/dxn)*(dy/dxn) = - ?*[(dy/dx1)2 + (dy/dx2)2 + (dy/dxn)2] 0 即?f0。这样就可以保证有哪些信誉好的足球投注网站到极小值。 于是获得梯度下降法的有哪些信誉好的足球投注网站策略: ?x1= - ?*(dy/dx1), ?x2= - ?*(dy/dx2), …, ?xn= - ?*(dy/dxn). 总结和作业 局部优化算法之一:
您可能关注的文档
- 任务四、VIP客户团:灯杆山景群解说服务.ppt
- 企业专题训练3.doc
- 任务二 地理信息系统(GIS)应用.pptx
- 企业LOGO的演变分析.pptx
- 企业内控管理与操作风险.ppt
- 任务四齿轮传动.ppt
- 企业社会责任第二讲——丛国栋2012.ppt
- 企业所得税优惠政策及政策依据备案方式.pptx
- 以学生为中心的学习法.pptx
- 企业管理职能(新).ppt
- 2024年江西省高考政治试卷真题(含答案逐题解析).pdf
- 2025年四川省新高考八省适应性联考模拟演练(二)物理试卷(含答案详解).pdf
- 2025年四川省新高考八省适应性联考模拟演练(二)地理试卷(含答案详解).pdf
- 2024年内蒙通辽市中考化学试卷(含答案逐题解析).docx
- 2024年四川省攀枝花市中考化学试卷真题(含答案详解).docx
- (一模)长春市2025届高三质量监测(一)化学试卷(含答案).pdf
- 2024年安徽省高考政治试卷(含答案逐题解析).pdf
- (一模)长春市2025届高三质量监测(一)生物试卷(含答案).pdf
- 2024年湖南省高考政治试卷真题(含答案逐题解析).docx
- 2024年安徽省高考政治试卷(含答案逐题解析).docx
最近下载
- 2022年新高考全国Ⅰ卷英语真题.docx VIP
- 《0-3岁婴幼儿身心发展与教养》PPT教学课件.pptx VIP
- 《0-3岁婴幼儿身心发展与教养》课件06婴幼儿语言的发展及教养.pptx VIP
- 护士生涯人物访谈 .pdf VIP
- 体育职业生涯规划书课件.pptx VIP
- AB SCIEX 6500 质谱系统在食品安全中的应用.pptx VIP
- 《0-3岁婴幼儿身心发展与教养》课件05婴幼儿记忆的发展及教养.pptx VIP
- C-Primer-Plus第六版中文版习题答案.doc
- 《0-3岁婴幼儿身心发展与教养》课件09婴幼儿意志的发展及教养.docx VIP
- 新能源学生职业生涯规划与管理.pptx VIP
文档评论(0)