无约束问题的最优化条件.pptVIP

5.1无约束问题的

最优性条件

自动化学院

一、极小点的概念

一．局部极小点

二．严格局部极小点

三．全局（总体）极小点

四．严格全局（总体）极小点。

○注：在非线性规划中，大多数算法都致力于求最优化问题的局部极小点，一般求全

局极小点极为困难，仅当问题为凸规划时，局部极小为全局极小。

二、无约束问题最优性条件

5.2最速下降法

自动化学院

一.最速下降法

Ø最速下降法又称为负梯度法，由

Cauchy于1847年给出。是最为古老但

又十分基本的一种方法。

Ø最速下降法解决的是具有连续可微的目标函

数的无约束极值问题。

Ø优点：迭代过程简单，使用方便。

Ø最速下降法的基本思想：从当前点xk出发寻找

使得目标函数下降最快的方向，即负梯度方向。

Ø关于梯度的复习：

梯度是一个向量。n元函数f(x1,x2,…xn)在

点处的梯度为：

xfff

(,,...,)T

x1x2xn

梯度的方向与函数f的等值线的一个法线方

向相同，从较低的等值线指向较高的等值线。

梯度的方向就是函数f的值增加最快的方向，

其相反方向就是函数值降低最快的方向。

例1:用最速下降法求

22

f(x)x1x22x12x1x2x2

的极小值,0.01,x(0)(0,0)T,只迭代一次

解:T(0)T

f(x)[(14x12x2,12x1+2x2],f(x)(1,1)

||f(x(0))||2(12(1)2)22

(1)(0)(0)01

xxf(x)

01

代入目标函数得：

f(x(1))f(x(0)f(x(0)))22

1

(1)(1)

df(x)/d001x

继续迭代,计算可得1

f(x(1))(1,1)T,||f(x(1))||2

令

(1)11(2)0.8

d,1,x

151.2

f(x(2))(0.2,0.2)T,||f(x(2))||0.2828,

二.算法终止标准

三、最速下降算法收敛性定理

四.最速下降法的收敛速度

五.算法特点

d相k邻1两次迭代的f搜(x索k方1向)是正交的f,迭(x代k点列kdk)

呈锯齿形前进，迭代点越靠近最优解附近,目

标函数值下降的速度越慢，算法收敛速度慢。

满足:f(xd)0

kkk

T

f(xkkdk)dk0

T