2011-2012概率论与数理统计课件7-2.pdf

§7.2 马尔可夫链 一、马尔可夫链的定义 二、转移概率 三、马氏链的几个例子 四、多步转移概率及C-K方程 五、遍历性与平稳分布 背景:1906年，俄国数学家Markov 提出“马尔可夫性”， 简称“马氏性”，又称“无后效性”。马尔可夫过程由 此得名。以后Kolmogorov、Feller 和Doob 等发展了这 一理论。至今它的理论发展的较系统与深入，在自然科 学、工程技术、经济管理等各个领域有广泛的应用。 马尔可夫性: 若已知现在状态的条件下，将来所处的状 态与过去的状态无关。 “昨天” “今天” “明天” 过去 现在 将来 马尔可夫性又称为 “无后效性”或 “条件独立性” 马尔科夫过程的分类 (1)时间离散、状态离散的马尔科夫过程通常称之 为马尔科夫链，简称马氏链。 (2)时间连续、状态离散的马尔科夫过程。 (3)时间连续、状态连续的马尔科夫过程。 本课程只讨论(齐次)马氏链 一 、马尔可夫链的定义 {X (t ),t T } I 定义 7-16 设随机过程 状态空间为 ，若 t n t t  t , n 3,t T , 对于 的任意 个值1 2 n i 有 P X (t ) x X (t ) x , X (t ) x , , X (t ) x  n n 1 1 2 2 n1 n1 P X (t ) x | X (t ) x , x R, x I ,i 1, n 1 n n n1 n1 n i 则称过程{X (t ),t T }具有马尔可夫性，或称{X (t ),t T }为 马尔可夫过程。 一 、马尔可夫链的定义 {X (t ),t T } I 定义7-16 设随机过程 状态空间为 ，若对 t n t t  t , n 3,t T , 于 的任意 个值1 2 n i 有 P X (t ) x X (t ) x ,X (t ) x , X (t ) x , X (t ) x  n n 1 1 2 2 n2 n2 n1 n1 P X (t ) x | X (t ) x ,x R ,x I ,i 1, n 1 n n n1 n1 n i 则称过程{X (t ),t T }具有马尔可夫性，或称{X (t ),t T }为马 尔可夫过程。 直观上，可以把t ,t , t 看成过去,t 看成现在， 1 2 n2 n1 t 看成未来，X (t ) x , X (t ) x , , X (t ) x ， n 1 1 2 2 n1 n1 X (t n )  x n 是各个时刻时所处的状态，则马尔可夫过程 可以理解