常用的无约束优化方法课件.pptVIP

第四章常用的无约束优化方法王桂从

无约束优化问题的数学模型求上述问题最优解(x*,F*)的方法称为无约束优化方法无约束优化方法理论研究开展的比较早，构成的优化方法已很多，也比较成熟。使用无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念及提供良好的基础，某些优化设计方法就是先把优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。#

无约束优化问题的求解方法Y解析法(间接法)：用函数的一阶、二阶导数进行求解的算法Y直接搜索法(直接法)：只利用函数值求最优解的解法坐标轮换法直接法鲍威尔法梯度法共轭梯度法间接法牛顿法变尺度法解析法的收敛速率较高，直接法的可靠性较高。#

无约束优化方法的基本过程p从选定的某初始点x出发，沿着以一定规律产生的搜索方(k)向S(k)，取适当的步长a(k)，逐次搜寻函数值下降的新迭代点x(k+1)，使之逐步逼近最优点x*。p初始点x、搜索方向S、迭代步长a称为优化方法算法(k)(k)(k)的三要素。其中以搜索方向S(k)更为突出和重要，它从根本上决定着一个算法的成败、收敛速率的快慢等p所以，一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向S(k)是研究优化方法的最根本的任务之一#

4.1坐标轮换法p坐标轮换法由D’esopo于1959年提出；p坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法；p坐标轮换法把多变量的优化问题轮流地转化成了单变量的优化问题。?属于直接搜索法。即只需要目标函数的数值信息而不需要目标函数的导数；#

4.1坐标轮换法-基本原理?既可以用于无约束优化问题的求解，又可以经过适当的处理用于约束优化问题；?基本特征：将迭代方向S取为一系列按序号排列的坐标轴方向，通常都用单位矢量e作为迭代的方向矢量。i对于n维优化问题，当n个坐标轴方向依次取过一次后，称为完成了一轮迭代。?基本原理：将一个n维的无约束最优化问题转化为一系列沿坐标轴方向的一维搜索问题来求解。在每一次迭代中，只改变n个变量中的一个，其余变量固定不动，因此常称为单变量法或变量交错法或降维法#

4.1坐标轮换法-迭代步长的确定(1)最优步长在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向上具有最小目标函数值的步长，即：(2)加速步长先选择一个不大的初始步长a，在每次一维搜索中都是先沿正0向从a到a，开始做试探计算函数值，若函数值下降，则以倍0增的速度加大步长，步长序列为a,2a,4a…直到函数值保持000下降的最后一个步长为止。在无约束优化问题求解中采用最优步长方法是方便的。#

4.1坐标轮换法-迭代过程第一轮迭代：(1)任取一初始点x(0)作为初始点x0(1)，先沿第一坐标轴的方向e=[10]作一维搜索，用一T1维优化方法确定最优步长?1(1)，得第一轮的第一个迭代点：x1(1)=x0(1)+?1(1)e1(2)以x1(1)为新起点，沿第二坐标轴的方向e=[01]作一T2维搜索，确定步长?2(1)，得第一轮的第二个迭代点：x2(1)=x1(1)+?1(1)e2#

4.1坐标轮换法-迭代过程第二轮迭代：x0(2)?x2(1)x1(2)=x0(2)+?1(2)e1x2(2)=x1(2)+?2(2)e2依次类推,可进行第三轮、第四轮…迭代注意：右上角括号内的数字表示轮数，右下角数字表示该轮中的第几个迭代点号#

4.1坐标轮换法-终止准则采用点距准则注意：若采用点距准则或函数值准则，其中采用的点应该是一轮迭代的始点和终点，而不是某搜索方向的前后迭代点。#

4.1坐标轮换法-计算步骤⑴任选初始点作为第一轮的起点，置n个坐标轴方向矢量为单位坐标矢量：#

⑵按照下面迭代公式进行迭代计算k为迭代轮数的序号，取k=1，2，……；i为该轮中一维搜索的序号，取i=1，2，……n步长α一般通过一维优化方法求出其最优步长⑶按下式判断是否终止迭代如满足，迭代终止，并输出最优解否则，令k←k+1返回步骤（2）最优解#

例题4.1例题4.1用坐标轮换法求目标函数的无约束最优解。给定初始点x(0)=[0,0]，精度要求ε=0.1T解：做第一轮迭代计算沿e方向进行一维搜索1式中，为第一轮的起始点，取按最优步长原则确定最优步长α，即极小化1#

暂且用微分学求导解出，令其一阶导数为零以为新起点，沿e方向一维搜索2以最优步长原则确定α，即为极小化2#

对于第一轮按终止条件检验继续进行第2轮迭代计算。计算5轮后，有故近似优化解为#

坐标轮换法的流程图-++-#

小结?坐标轮换法程