信赖域算法---非线性优化问题.ppt

THU DAE THU DAE 清华大学汽车工程系 —进化算法策略 * 机械最优化设计课程 机械最优化设计作业 THU DAE —信赖域方法 * 机械最优化设计课程 1.信赖域方法的综述 信赖域法和线性有哪些信誉好的足球投注网站方法是求解非线性优化问题的两类主要的数值方法。信赖域法也是一种迭代算法，即从给定的初始解出发，通过逐步迭代，不断改进，直到获得满意的近似最优解为止。 特点：思想新颖，具有可靠性、有效性和很强的收敛性。与线性有哪些信誉好的足球投注网站方法相比，信赖域方法直接通过模型求解得到试探步长，而不是先确定有哪些信誉好的足球投注网站方向，再寻找步长。 线有哪些信誉好的足球投注网站方向可以看成是信赖域半径充分大时的信赖域步；而信赖域方法得出的信赖步可看成是将二次逼近模型加上一个惩罚项之后所导致的线有哪些信誉好的足球投注网站方向。 基本思想 机械最优化设计课程 * 在每次迭代中给出一个信赖域，这个信赖域一般是当前迭代点 的一个小邻域。然后在这个邻域内求解一个子问题，得到试探步长（trial step） ，接着用某一评价函数来决定是否接受该试探步长以及决定下一次迭代的信赖域。 如果试探步长被接受，则： ， 否则， 。 新的信赖域的大小取决于试探步长的好坏，粗略地说，如果试探步长较好，在下一步信赖域扩大或保持不变，否则下一步减小信赖域。 算法模型 机械最优化设计课程 * 设当前点 的邻域定义为： 其中， 称为信赖域半径。 利用二次逼近，构造如下信赖域子问题： 其中， 算法模型 机械最优化设计课程 * 设 是信赖域子问题（2）的解，定义目标函数第k步的真实下降量为： 称二次模型函数 的下降量为预测下降量： 定义比值： 它衡量了二次模型与目标函数的逼近程度 越接近于1，表明接近程度越好。因此用它来确定下次迭代的信赖域半径。 信赖域半径的选择 机械最优化设计课程 * （1） 越接近于1，表明接近程度越好，这时可以增大 以扩大信赖域； （2） 0但是不接近于1，保持 不变； （3）如果 接近于0，减小 ，缩小信赖域。 或者其他 的选择方法（后面介绍）。 信赖域算法 机械最优化设计课程 * Step1. 给出初始点 ，信赖域半径的上界 Step2. 计算 ，如果 ，停止；否则，计算 。 Step3. （近似）求解子问题（2），得到 。 Step4. 计算 ，令 Step5. 校正信赖域半径，令 信赖域算法 机械最优化设计课程 * Step6. 令k=k+1,转Step2. 很成功迭代： ，信赖域扩大； 成功迭代： 不成功迭代： ，信赖域缩小。 算法参数选择： 解信赖域子问题 机械最优化设计课程 * 信赖域方法在每步迭代中求解下列形式的子问题： 其中， S为待求变量。当 变化时，S的解形成一条空间曲线，称为最优曲线。 Powell[1970]给出了求解（2）的单折线法，当 可逆时。用连接初始点、 的单折线近似最优曲线，在折线上取点 使得 作为（2）的解 。 解信赖域子问题 机械最优化设计课程 * 解信赖域子问题 机械最优化设计课程 * 解信赖域子问题 机械最优化设计课程 * 数值实验 机械最优化设计课程 * 方法 迭代次数 函数值误差 最优点误差 信赖域 8 1.2*e^(-13) 7.8*e^(-7) 共轭方向 16 9.4*e^(-9) 1.5*e^(-5) 变尺度 32 9.4*e^(-9) 1.5*e^(-