05无约束优化方法 文档预览.pptxVIP

无约束优化方法1;对于一般二次函数;这说明二次函数矩阵G的逆阵，可以通过尺度变换矩阵Q来求得。;例子：;则在变换后的坐标系中，矩阵G变为;比较牛顿法迭代公式和梯度法迭代公式;这样的长度定义，在确定“长度”这个纯量大小是，使得某些方向起的作用比较大，另一些方向起的作用比 较小。;变尺度矩阵的建立;1）为了保证迭代公式具有下降性质，要求Hk中的每个矩阵都是对称正定的;3）要求 必须满足拟牛顿条件。;上述关系称拟牛顿条件;三、变尺度法的一般步骤;7）计算矩阵 ，置 返回到3。 对于校正矩阵 ，可由具体的公式来计算，不同的公式对应不同的变尺度法，但不论哪种变尺度法， 必须满足拟牛顿条件;DFP算法;满足上面方程的待定向量 和 有多种取法，我们取;当初始矩阵 选为对称正定矩阵时，DFP算法将保证以后的迭代矩阵 都是对称正定的，即使将 DFP算法施用于非二次函数也是如此，从而保证算法总是下降的。这种算法用于高维问题（如20个变量以上），收敛速度快，效果好。DFP算法是无约束优化方法中最有效的方法之一，因为它不单纯是利用向量传递信息，还采用了矩阵来传递信息。 DFP算法是戴维登（Davidon）与1959年提出的，后 来由弗莱彻（Fletcher）和鲍威尔（Powell）与1963年作了改进，故用三人名字的字头命名。;坐标轮换法;对于n个变量的函数，若在第k轮沿第i个坐标方向 进行搜索，其迭代公式为;鲍威尔方法