工程硕士 马尔柯夫链.pdf

第四章 Markov链 第四章 Markov链 内容 Markov链的概念及一步转移概率的概念；n步转 移概率与一步转移概率的关系； Markov链的状态分 类；状态空间的分解；平稳分布 重点 Markov链的定义；转移概率及状态分类 难点 状态分类 2009-6-5 电子工程学院，概率论与随机过程 1 第四章 Markov链 第四章 Markov链 前面讨论的随机过程是按照其数字特征来进行分类 的，而后面我们将对Markov过程按其状态空间I和参数集 T进行分类： I和T均离散，即为本章将要讨论的Markov链； I离散、但T连续，即为连续时间的Markov链，即为第 五章； I和T均连续，即为Markov过程，略。 本章不妨假设： I i ,i , ，T {0,1,2, } {0 1 } 2009-6-5 电子工程学院，概率论与随机过程 2 第一节 Markov链的概念及转移概率 第一节 Markov链的概念及转移概率 一、 Markov链的定义 定义4.1.1　若随机过程 ξ , n ∈T ，对∀正整数n ∈T和i , i , { n } 0 1 in+1 ∈I，有： P ξ i ξ i , ξ i P ξ i ξ i 　4.1.1 { n+1 n+1 0 0 n n } { n+1 n+1 n n }( ) 则称 ξ 为Markov链，4.1.1 式所表达的性质称为Markov性( ) { } n （无后效性）。 解释：若把时刻n看成“现在”，把时刻0，1，n −1看成“过 去”，把时刻n +1看成“将来”，那么Markov 性(无后效性) 即是：在已知系统“现在”所处状态的情况下，系统将来的 状态与“过去”所经历的状态无关。 2009-6-5 电子工程学院，概率论与随机过程 3 第一节 Markov链的概念及转移概率 第一节 Markov链的概念及转移概率 　　P ξ j ξ i p n — — 系统在时刻n处于状态的i { n+1 n } ij ( ) 条件下，在n + 时刻系统转移到状态的概率。j 1 4.1.2 定义 　称条件概率p n P ξ j ξ i 为Markov 链 ij ( ) { n+1 n } , , ξ n ∈T 的一步转移概率，其中i j ∈I。 { n } 一般地，p n 不仅与i , j 有关，而且也与n有关。若p n ij ( ) ij ( ) 不依赖于，则n Markov链具有平稳的转移概率，即转移概率具 有平稳性。 定义4.1.3　若Markov链具有平稳的转移概率，即p n 与