- 1、本文档共143页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
最优化理论与算法
§10,使用导数的最优化方法
TP SHUAI 1
第十章使用导数的最优化方法
最速下降法
牛顿法
共轭梯度法
拟牛顿法
信赖域法
TP SHUAI 2
10.1最速下降法
10.1最速下降法
考虑无约束问题 min f (x), x Rn (10.1.1)
其中f (x)具有一阶连续偏导数。
在处理这类问题时,一般策略是,希望从某一点出发,选择
一个目标函数值下降最快的方向,沿此方向搜索以期尽快达
到极小点,基于这一思想,Cauchy于1847年提出了最速下降
法。这是无约束最优化中最简单的方法。
TP SHUAI 3
10.1最速下降法-1
函数f (x)在点x处沿方向d 的变化率可用方向导数表
示,当函数可微时有,方向导数
Df (x, d ) f (x)T d (1.2)
求函数f(x)在点x处下降最快的方向,归结为求
min f (x)T d
s.t d 1 (1.3)
由Schwartz不等式,
T
f (x ) d f (x ) d f (x )
T
f (x ) d f (x ) (1.4)
TP SHUAI 4
10.1最速下降法-2
由上式知.当
f (x )
d (1.5)
f (x )
时等号成立.故在点x 处沿(1.5)所定义的方向变化
率最小,即负梯度方向为最速下降方向.
注意:在不同的尺度下最速下降方向是不同的.
TP SHUAI 5
10.1最速下降法-3
最速下降算法
最速下降算法的迭代公式为
x (k 1) x (k ) d (k ) (1.6)
k
其中d (k )是从x(k ) 出发的搜索方向,此处取在点x(k )的最速下降
方向,即 d (k ) f (x(k ) ).
是从x(k )出发沿方向d ( k )进行一维搜索的步长,即满足
k
f (x(k ) d (k ) ) f (x( k ) d ( k ) ) (1.7)
k min
0
TP SHUAI 6
10.1最速下降法-4
算法描述
Step1,给定初始点x(k ) En ,允许误差 0,置k 1
Step2, 计算搜索方向d (k ) f (x(k ) )
Step3, 若 d
文档评论(0)