基于最小二乘修正的混合HS和DY共轭梯度法 .pdfVIP

基于最小二乘修正的混合HS和DY共轭梯度法

陈贞晶

【期刊名称】《《重庆科技学院学报（自然科学版）》》

【年(卷),期】2019(021)005

【总页数】6页(P44-49)

【关键词】共轭梯度法;Wolfe线有哪些信誉好的足球投注网站;最小二乘法;一致凸函数;全局收敛

【作者】陈贞晶

【作者单位】重庆师范大学数学科学学院重庆401331

【正文语种】中文

【中图分类】O224

共轭梯度法是求解大规模无约束优化问题的最有效的方法之一，具有所需存储量小、

强收敛性和计算方便等优点。比如考虑无约束优化问题minf(x),x∈Rn，共轭梯度

法的一般迭代格式为：

xk+1=xk+αkdk

(1)

d0=-g0,dk+1=-gk+1+βkdk

(2)

其中：αk是通过某种线有哪些信誉好的足球投注网站获得的步长，αk0；dk+1是有哪些信誉好的足球投注网站方向；g(x)是目标

函数f(x)的梯度，gk+1=▽f(xk+1)；βk是共轭梯度参数，简称CG参数。不同的

βk值，对应不同的共轭梯度方法。

常用的线有哪些信誉好的足球投注网站有很多，我们在这里只考虑Wolfe线有哪些信誉好的足球投注网站：

f(xk+αkdk)-f(xk)≤δαk▽f(xk)Tdk

(3)

▽f(xk+αkdk)Tdk≥σ▽f(xk)Tdk

(4)

其中，0δσ1。

Hestenes-Stiefel(简称“HS”)方法和Dai-Yuan(简称“DY”)方法都是经典的共

轭梯度方法，其参数[1]如下：

其中：是欧几里得范数；yk-1=gk-gk-1。

HS方法在非精确线有哪些信誉好的足球投注网站下不能保证收敛性，可能无限循环，且不趋近于任何一个

解点，但数值计算效果较好。DY方法具有强收敛性，但由于在计算时会受干扰现

象的影响，计算效果不佳[2]。

1HCG方法的修正

1.1HCG方法

2008年，NeculaiAndrei基于拟牛顿方向满足割线条件，提出了混合的HS和

DY方法[2]，简称HCG方法。其CG参数如下：

其中

割线方程为Bk+1sk=yk。

HCG方法的计算效果不是很好，不如经典的HS方法。

1.2ZZL方法

2015年，SamanBabaie-Kafaki和RezaGhanbari[2]基于HCG方法，采用最

小二乘思想，将HCG方法的有哪些信誉好的足球投注网站方向逼近三项共轭梯度法方向[3]之间，极小化后，

获得混合参数θk新的取值，即

(5)

其中，三项共轭方向如下所示：

(6)

HCG方法的有哪些信誉好的足球投注网站方向和CG参数如下：

∀k≥0

(7)

(8)

对CG参数进行非负限制，得

这个方法简称HCG+方法。HCG+方法在Wolfe线有哪些信誉好的足球投注网站下全局收敛，计算时间上

优于HS和DY方法。

1.3EZZL方法

为了减少计算时间，我们采用文献[2]中的最小二乘思想，将ZZL方法替换成带有

参数tk的EZZL方法[4]，即

(9)

所以

(10)

其中

∀k≥0

(11)

tk是一个混合参数。通过对ZZL方法的有哪些信誉好的足球投注网站方向矩阵进行特征值分析，可得参数

tk的取值。

tk=

η∈(0,1]

(12)

该扩展的有哪些信誉好的足球投注网站方向，在不依赖任何线有哪些信誉好的足球投注网站和目标函数的凸性下，满足充分下降条件。

EZZL方法对一致凸函数全局收敛，且计算上优于ZZL方法。其中，η=0.96。

1.4HCGQN方法

2018年，Babaie-Kafaki和Ghanbari基于HS方法和无记忆BFGS方法的线性

组合，提出了一个新的混合的方法[5]，简称HCGQN方法。其中，无记忆BFGS

校正形式为：

其有哪些信誉好的足球投注网站方向如下：

(13)

当目标函数是一致凸函数时，满足充分下降条件。

对上述的有哪些信誉好的足球投注网站方向引入一个基于最小二乘技巧求解的混合参数θk，则式(13)可以

写成如下形式：

其中

通过求解下列最小二乘问题，获得混合参数θk。

(14)

因此，又因为θk∈[0,1]，所以此外，考虑到Powell提出的共轭梯度参数的非负

限制在数值计算方面的有效性，对MLBFGS的有哪些信誉好的足球投注网站方向作如下修改：

(15)

其中，ξ是一个很小的正数。在数值计算上，HCGQN方法胜过HS和ZZL方法，

ξ=10-7。

1.5MHCG方法

为了减少计算所用的时间，利用文献[2]中采用HCG方法逼近一个充分下