newton法.ppt

* * 利用目标函数 在点 处的二阶Taylor 展开式去近似目标函数， 用二次函数的极小点 去逼近目标函数的极小点． Newton 法 基本思想 回顾：一维搜索的Newton迭代公式 多维函数的Newton迭代公式 Step1 给出 Step4 令 转Step２. Newton 法 算法步骤 Step2 计算 如果 停止迭代， xk为近似最优解;否则，转 Step 3. Step3 计算 取 设 是正定二次函数, 特例 Newton 法 - 用Newton法求解： 解： 举例 Newton 法 Newton 法 收敛性分析 Newton 法局部收敛，且具有二阶收敛速度. Newton法是局部收敛的.对给定的初始点比较敏感，如果 初始点选择的比较好，则其解决优化问题的收敛过程会很 快;如果选择不当，则可能会出现收敛失败的情况 ． (2) 每次都需要计算 计算量大． (3) 每次都需要求 Newton 法 缺点 有时奇异或病态的， 无法确定 或 不是下降方向． 优点 具有二阶收敛速度. 主要适合于变量数目小 的优化问题及目标函数阶次 较低的优化问题 阻尼Newton 法 阻尼Newton法 针对Newton法中步长为 1 时，可能会导致函数不下降的缺 点,提出迭代中取步长为最优步长的思想. 问题的提出 令 . 阻尼Newton 法 Step1 给出 算法步骤 Step2 计算 如果 停止迭代， xk为近似最优解;否则，转 Step 3. Step3 计算 取 Step4 令 转Step２. 举例 用阻尼Newton法求解： 阻尼Newton 法 第一次迭代 解 用Newton法求解此问题失败.