第八章动态规划原理与最优控制.ppt

求解的结果 第二十九页，共五十二页，2022年，8月28日 第三十页，共五十二页，2022年，8月28日 7.3 连续动态规划在连续系统最优控制中的应用 动态规划 可用于连续系统的优化问题 对于连续系统 根据最优性原理 可得到 Hamilton-Jacobi 方程 第三十一页，共五十二页，2022年，8月28日 对于连续系统 x – n 维状态向量，u – m 维控制向量 且容许控制 u 在 m 维欧氏空间 的某一给定域 中取值即 第三十二页，共五十二页，2022年，8月28日 已知始端固定 即 求最优控制 使目标泛函 取极小值 （3） 第三十三页，共五十二页，2022年，8月28日 由最优性原理推导出极大值原理 定义 式中 而x(s)是在区间 上和最优控制函数有关的轨线，其中 ，且 给定。 （4） （5） 第三十四页，共五十二页，2022年，8月28日 显然 所有 都满足 假设 V 存在，连续 并且具有连续的一阶和二阶偏导数 （6） 第三十五页，共五十二页，2022年，8月28日 推导动态规划的Hamilton-Jacobi方程 （7） 第三十六页，共五十二页，2022年，8月28日 （8） 第三十七页，共五十二页，2022年，8月28日 第八章动态规划原理与最优控制 * 第一页，共五十二页，2022年，8月28日 动态规划 求解最优控制问题的有效方法之一 二十世纪五十年代由 Bellman 提出 动态规划与极小值原理在数学上是等效的 从不同的角度发展了古典变分学 第二页，共五十二页，2022年，8月28日 最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。 第三页，共五十二页，2022年，8月28日 主要内容 离散动态规划 离散动态规划在离散系统最优控制中的应用 连续动态规划在连续系统最优控制中的应用 第四页，共五十二页，2022年，8月28日 7.1 离散动态规划 最优性原理 动态规划的基础 若一个 N 级决策系统是最优的,则以第 k 级（ ）决策所形成的状态作为初态的任何一个 N - K 级子决策也必然是最优的。 第五页，共五十二页，2022年，8月28日 根据最优性原理 确定了一个从后向前的递推过程 基于最优性原理的动态规划方法 成为解决最优控制问题的有力工具 第六页，共五十二页，2022年，8月28日 动态规划原理 求从S — F 点路程最短的方法 第七页，共五十二页，2022年，8月28日 枚举法 S — X1(1) — X1(2) — X1(3) — F 4+6+1+4=15 S — X1(1) — X2(2) — X1(3) — F 4+6+2+4=16 S — X1(1) — X2(2) — X2(3) — F 4+6+2+3=15 S — X1(1) — X1(2) — X2(3) — F 4+6+1+3=14 S — X2(1) — X1(2) — X1(3) — F 5+4+1+4=14 S — X2(1) — X1(2) — X2(3) — F 5+4+1+3=13 S — X2(1) — X2(2) — X1(3) — F 5+7+2+4=18 S — X2(1) — X2(2) — X2(3) — F 5+7+2+3=17 第八页，共五十二页，2022年，8月28日 可能解数量为 2(n-1) n = 4, 为 23 = 8 种. 加法次数为：(n-1)* 2(n-1) n = 4, 为 (4-1) * 23 = 24 次. 若n = 10, 则可能解数为： 2(10-1) = 29 = 512 种. 加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次. 第九页，共五十二页，2022年，8月28日 动态规划法 从最后一级开始： J [X1(3) ] =4 J [X2(3) ] =3 ,J*[X1(3) ] =4 ,J *[X2(3) ] =3 倒数第二级： 路线 X1(2) — X1(3) — F J =1+J* [X1(3) ] = 5 X1(2) — X2(3) — F J* =1+J*[X2(3) ] =4 X2(2) — X1(3) — F J =2+J*[X1(3) ] = 6 X2(2) — X2(3)