梯度法.ppt

优化设计 无约束优化方法 四、无约束优化方法 §4-1 最速下降法（梯度法） §4-2 鲍威尔方法 §4-3 变尺度法 §4-4 共轭方向法 §4-5 牛顿类方法 §4-6 其它方法（如坐标轮换法、单纯形法） 4-1 梯度法 根据一元函数极值的必要条件和多元复合函数求导公式，得 梯度法的特点 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次有哪些信誉好的足球投注网站方向的正交性，决定了迭代全过程的有哪些信誉好的足球投注网站路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次有哪些信誉好的足球投注网站即可达到极小点。 练习： 用梯度法求目标函数F(X)=X12+4X22的极小值，取初始点X(0)=(2,2)T,收敛精度 ε =0.01 练习： 用梯度法求目标函数F(X)=X12+X22-x1x2-10x1-4X2+60的极小值，取初始点X(0)=(0,0)T,收敛精度 ε =0.01 thanks * * 无约束优化问题是： 求n维设计变量 使目标函数 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造有哪些信誉好的足球投注网站方向上的差别。 （1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。 有哪些信誉好的足球投注网站方向的构成问题乃是无约束优化方法的关键。 间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。 基本思想：函数的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维有哪些信誉好的足球投注网站方法寻优的问题，利用负梯度作为有哪些信誉好的足球投注网站方向，故称最速下降法或梯度法。 有哪些信誉好的足球投注网站方向s取该点的负梯度方向 (最速下降方向) ，使函数值在该点附近的范围内下降最快 。 为了使目标函数值沿有哪些信誉好的足球投注网站方向 能够获得最大的下降值，其步长因子 应取一维有哪些信誉好的足球投注网站的最佳步长。即有 在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而有哪些信誉好的足球投注网站方向就是负梯度方向，因此相邻两个有哪些信誉好的足球投注网站方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。 最速下降法的有哪些信誉好的足球投注网站路径 沿负梯度方向进行一维有哪些信誉好的足球投注网站，有 为一维有哪些信誉好的足球投注网站最佳步长，应满足极值必要条件 梯度法 求目标函数 的极小点。 解 取初始点 则初始点处函数值及梯度分别为 算出一维有哪些信誉好的足球投注网站最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 这个问题的目标函数的等值线为一簇椭圆,迭代点从 走的是一段锯齿形路线，见图 1 1 图一簇椭圆