马尔科夫链例题整理.ppt

定理4.3马尔科夫链的有限维分布：练习：马氏链的状态空间I={1，2，3}，初始概率为例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图首页2/31/41/41/31/21/20121/2图3---1由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间I的各状态都是互通的。又由于I的任意状态i(i=0，1，2)不能到达I以外的任何状态，所以I是一个闭集而且I中没有其它闭集所以此马氏链是不可约的。首页例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图首页111/21/21/2311/2图4---24521闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间I有闭子集，故此链为非不可约链。首页3．常返态与瞬时态则称状态i为常返态则称状态i为瞬时态注“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理4定理5定理6如果i为常返态，且，则j也是常返态。定理7所有常返态构成一个闭集5．正常返态与零常返态平均返回时间从状态i出发，首次返回状态i的平均时间称为状态i平均返回时间.根据的值是有限或无限，可把常返态分为两类：设i是常返态，则称i为正常返态；则称i为零常返态。首页例其一步转移矩阵如下，是对I进行分解。I可分解为：C1={2，3,4}C2={5，6,7}两个闭集及N={1}，即I=N+C1+C2用极限判断状态类型的准则（2）i是零常返态（3）i是正常返态（1）i是瞬时态且且首页例3转移矩阵试对其状态分类。解按一步转移概率，画出各状态间的传递图21/4111/41/411/4143首页从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。考虑状态1是否常返，于是状态1是常返的。又因为所以状态1是正常返的。此链所有状态都是正常返的。21/4111/41/411/4143三、状态的周期与遍历1．周期状态对于任意的，令其中GCD表示最大公约数则称为周期态，则称为非周期态。定理112．遍历状态若状态i是正常返且非周期，则称i为遍历状态。111/21/21/2311/2图4---24521例4设马氏链的状态空间I={0,1,2,…}，转移概率为试讨论各状态的遍历性。解根据转移概率作出状态传递图…1/21/21/21/21/21/20121/2图4---431/2首页从图可知，对任一状态都有，故由定理可知，I中的所以状态都是相通的，因此只需考虑状态0是否正常返即可。…故从而0是常返态。又因为所以状态0为正常返。又由于故状态0为非周期的从而状态0是遍历的。故所有状态i都是遍历的。…1/21/21/21/21/21/20121/2图4---431/21/31/211/31/211/31234例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为解试对其状态分类。按一步转移概率，画出各状态间的传递图它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。可继续讨论是否为正常返态可讨论状态11/31/211/31/211/31234状态1是常返态状态1是正常返态所以，全部状态都是正常返态首页1/31/211/31/211/31234例1其一步转移矩阵为试证此链具有遍历性，并求平稳分布和各状态的平均返回时间解由于首页所以因此，该马氏链具有遍历性。解得所以马氏链的平稳分布为X123各状态的平均返回时间例2设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中各任取一球并进行交换，以表示开始时甲盒中红球的个数，（