随机数学第6讲 第4章马尔科夫链2).pdfVIP

§4.2 马尔科夫链的状态分类 一、状态的分类 以下几节，我们讨论马尔科夫链转移概率的极 定义 设马尔科夫链的状态空间I={1,2,…,i,…} 限问题，即对于任意状态 i，j ∈I , ： 如集合 T n : p n 0,n 0 非空，则称该集合 { ii ( ) } lim P (n) n→∞ ij 的最大公约数为状态i 的周期，记为 di 是否存在？ 是否依赖于i ？ di 1, 则称状态i为周期的； 要研究极限的情形，需要先了解与马尔科夫链状态的有 di 1, 则称状态i为非周期的； 关特性。 主要是周期特性、常返特性、互通特性。 ⎛ 0 1 0 0 0⎞ 例1 设马尔科夫链的状态空I={1,2,…,9} ⎜ ⎟ 例2：马尔科夫链 P= ⎜ 1/3 1/3 1/3 0 0⎟ 状态空间的转移概率如图所示： ⎜ ⎟ 考虑状态1： 1 ⎜ 0 1/3 1/3 1/3 0⎟ 0 0 1/3 1/3 1/3 ⎜ ⎟ 从状态1出发可能返回 1 8 9 1 2 1 ⎜ ⎟ 1/3 ⎝ 0 0 0 1 0⎠ 的步数： 7 1 3 求状态1和状态2的周期。 T={4,6,8,10,…,} 1 6 5 2/3 4 1 T的最大公约数是2， 解：