非线性最小二乘优化问题-算法程序.pdf

非线性最小二乘优化问题 非线性最小二乘优化也叫无约束极小平方和函数问题，比如 min S (x) m S (x) f (x)T f (x) fi 2 (x) i 1 f (x ) x f (x ) ax b a 如果 为 的线性函数，即 ，其中 为矩阵， 为向量，此 b 时为题变为了线性最小二乘问题。 本文以分线性为例： min S (x) (t 1)2 (t 2 t 1)2 一般的，先将函数化简成上式，便于套用程序。Main.m 程序文件中的第七 行与该式对应  t 1  则对应的f (x )  2  。Main.m 程序文件中的第四行与该式对应 t t 1   1、G-N 法算法介绍 该方法源于无约束优化的牛顿算法，由于非线性最小二乘优化问题中的目标 函数形式比较特殊，可以得到其雅可比矩阵的具体形式，将其带入牛顿法的迭代 公式中，可得到G-N 法。 2 、G-N 法算法原理 根据非线性最小二乘目标函数的表达式，有S (x) 2(f (x))T f (x) 令J k f (xk ) ，根据无约束优化的牛顿算法，代入目标函数的梯度，则有： k 1 k T k 1 T k x x [(Jk ) Jk R (x )] (J k ) f (x ) k 2 k T k 2 k 其中R(x )  S (x ) (Jk ) Jk 。由于R (x ) 涉及 S (x ) 的计算，将其忽略得到 求解非线性最小二乘的G-N 法： k 1 k T 1 T k x x [(J k ) J k ] (J k ) f (x ) 3、G-N 法算法修正 由于G-N 法是一个局部的收敛方法，对初始点的依赖性很大，只有当初始 点接近极小点是才有可能收敛，因此本文针对这个问题给出了两个修正方案。 k （1 ） 在 已 经 得 到 的 一 个 近 似 极 小 点 x 后 ， 计 算 k 1 k T 1 T k a x x a [(J ) J ] (J ) f (x ) ，其中 的大小用以为无约束化方法求解 k k k k k min S (xk 1) 确定。 （2 ）由于 k T 1 T k 为目标函数的下降方向，选取很小的 v [(Jk ) Jk ] (Jk ) f (x ) 