《强化学习理论与应用》蒙特卡洛法.pptVIP

目录;动态规划法:

基于模型的MDP问题求解方法；

当环境模型已知，动态规划法无需环境采样，只需通过迭代计算，就可以得到问题的最优策略；

无模型强化学习状态转移概率是未知的，无法利用动态规划方法求解值函数。

通过值函数的原始定义来求解无模型强化学习问题:

;经验方法

通过大量采样获取数据来进行学习

MC方法

MC正是基于经验方法,在环境模型未知的情况下,采用时间步有限的、完整的情节,根据经验进行学习,并通过平均采样回报来解决强化学习问题。;5.1.1MC的核心要素

;情节:

一段经验可以分为多个情节，每一情节都是一个完整的，即必有终止状态，形如:

经常与情节混淆的是轨迹，轨迹可以不存在终止状态，形如:

;完整回报与目标值:

因为只有到达终止状态才能计算回报，所以将情节的回报称为完整回报，也称为MC的目标值。

;5.1.2MC的特点

;5.1蒙特卡洛法的基本概念（6）;5.1蒙特卡洛法的基本概念（7）;5.1蒙特卡洛法的基本概念（8）;5.1蒙特卡洛法的基本概念（9）;目录;根据状态值函数的初始定义，MC预测算法以情节中初始状态的回报期望作为其值函数的估计值，对策略进行评估。在求解状态的值函数时，先利用策略产生个情节，然后计算每个情节中状态的折扣回报:

这里，表示在第个情节中，从时刻到终点时刻的回报。该回报是基于某一策略下的状态值函数的无偏估计（由于是真实获得的，所以属于无偏估计，但是存在高方差）。

;在MC中，每个回报都是对独立同分布的估计，通过对这些折扣回报求期望（均值）来评估策略:

在一组采样（一个情节）中状态可能多次出现，以更新图的方式表示，如下图所示。对同一情节中重复出现的状态，有如下两种处理方法:

;首次访问（first-visit）:在对状态的回报进行估计时，只对每个情节中第1次访问到状态的回报值作以统计:

每次访问（every-visit）:在对状态的回报进行估??时，对所有访问到状态的回报值都作以统计:

;其中,表示第个情节,表示第次访问到状态；表示状态被访问过的总次数。根据大数定理,当MC采集的样本足够多时,计算出来的状态值函数估计值就会逼近真实状态值函数。

;5.2蒙特卡洛法预测（5）;5.2蒙特卡洛法预测（6）;5.2蒙特卡洛法预测（7）;5.2蒙特卡洛法预测（8）;5.2蒙特卡洛法预测（9）;5.2蒙特卡洛法预测（10）;目录;;;;目录;5.4蒙特卡洛控制（1）;5.4蒙特卡洛控制（2）;5.4蒙特卡洛控制（3）;5.4蒙特卡洛控制（4）;5.4蒙特卡洛控制（5）;5.4蒙特卡洛控制（6）;5.4蒙特卡洛控制（7）;5.4蒙特卡洛控制（8）;5.4蒙特卡洛控制（9）;5.4蒙特卡洛控制（10）;5.4蒙特卡洛控制（11）;5.4蒙特卡洛控制（12）;5.4蒙特卡洛控制（13）;5.4蒙特卡洛控制（14）;5.4蒙特卡洛控制（15）;5.4蒙特卡洛控制（15）;5.4蒙特卡洛控制（16）;5.4蒙特卡洛控制（17）;5.4蒙特卡洛控制（18）;5.4蒙特卡洛控制（19）;5.4蒙特卡洛控制（20）;5.4蒙特卡洛控制（21）;5.4蒙特卡洛控制（22）;5.4蒙特卡洛控制（23）;5.4蒙特卡洛控制（24）;5.4蒙特卡洛控制（25）;5.4蒙特卡洛控制（26）;5.4蒙特卡洛控制（27）;5.4蒙特卡洛控制（28）;5.4蒙特卡洛控制（29）;5.4蒙特卡洛控制（30）;5.4蒙特卡洛控制（31）;5.4蒙特卡洛控制（32）;5.4蒙特卡洛控制（33）;5.4蒙特卡洛控制（34）;5.4蒙特卡洛控制（35）;5.4蒙特卡洛控制（36）;5.4蒙特卡洛控制（37）;5.4蒙特卡洛控制（38）;5.4蒙特卡洛控制（38）;5.