随机过程 第五章 连续时间的马尔可夫链.docx

第五章连续时间的马尔可夫链 5.1连续时间的马尔可夫链 考虑取非负整数值的连续时间随机过程{X(t),t0}. 定义5.1设随机过程{X(t),t0}.,状态空间I={七,n0},若对任意0tt...t及i,i，…ieI,有 12n+112n+1 P{X(t)=iX(t)=i，X(t)=i,...X(t)=i}n+1n+11122nn=P{X(t)=iIX(t)=i}(5.1)n+1n+1nn则称{X(t),t0}.为连续时间马尔可夫链. 由定义知，连续时间马尔可夫链是具有马尔可夫性的随机过程，即过程在已知现在时刻tn及一切过去时刻所处状态的条件下，将来时刻tn+1的状态只依赖于现在状态而与过去无关. 记(5.1)式条件概率一般形式为 P{X(s+1)=j\X(s)=i}=Pj(s,t)(5.2)它表示系统在s时刻处于状态i,经过时间t后转移到状态j的转移概率. 定义5.2若(5.2)式的转移概率与s无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为Pj(s,t)=pj(t),其转移概率矩阵简记为P(t)=(Pj(t)),(i,jeI,t0). 以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程. 假设在某时刻，比如说时刻0,马尔可夫链进入状态i,而且接下来的s个单位时间单位中过程未离开状态i,(即未发生转移)，问随后的t个单位时间中过程仍不离开状态i的概率是多少呢?由马尔可夫我们知道，过程在时刻s处于状态i条件下，在区间［s,s+t］中仍然处于i的概率正是它处于i至少t个单位的无条件概率..若记h.为记过程在转移到另一个状态之前停留在状态i的时间，则对一切s,t0有P{hs+t\hs}=P{ht},iii 可见，随机变量h具有无记忆性，因此h服从指数分布. ii 由此可见,一个连续时间马尔可夫链，每当它进入状态i,具有如下性质： 在转移到另一状态之前处于状态i的时间服从参数为七的指数分布； (2)当过程离开状态i时，接着以概率p口进行状态j,Pi.1. 上述性质也是我们构造连续时间马尔可夫链的一种方法. 当七时,称状态i为瞬时状态，因为过程一旦进入此状态立即就离开.vi0时,称状态i为吸收状态，因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的，但以后假设对一切i,0vi.因此，实际上一个连续时间的马尔可夫链是一个这样的随机过程，它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于七，那么过程处于状态i已有多久的信息与一个状态的预报有关，这与马尔可夫性的假定相矛盾. 定理5.1齐次马尔可夫过程的转移概率具有下列性质： 1)p..0; p..1； p(ts)p(t)p(s). ijikkjkI其中(3式即为连续时间齐次马尔可夫链的切普曼一柯尔哥洛夫方程. 证明只证(3)由全概率公式及马尔可夫性可得pjts)P{X(ts)jX(0)i)} =P{X(ts)jX(t)k|X(0)i}kI =P{X(t)k|X(0)i}P{X(ts)jX(t)k}kIP.k(t)pk.(s). kI对于转移概率p.j(t)，一般还假定它满足： limp(t)0..(5.3)称(5.3式为正则条件.正则条件说明，过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃，从而消耗无穷多的能量这是不可能的. 定义5.3对于任一t0记P.(t)P{X(t)j,P.P.O)P{X(0)j},jI,分别称{)，je/},{Pj，je/}齐次马尔可夫过程的绝对概率分布和初始概率分布. 定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: Pj(t)0,￡pj(t)=1,jeIiPj(t)=￡pp(t);ieli(4)p(t+h)=￡Pj(t)p.(h);iel (4) (5)p{X(t)=i，…，X(t)=i}=11nn =￡ppp(t-1)...p(t-1). iiiii21iinn-1112n-1niel 例5.1试证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链. 证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程，且X(0)=0.0t『...tt+1，有P{X(t)=iX(t)=i，…,X(t)=i}n+1n+111nn=P{X(t)-X(t)==i-i\X(t)-X(0)=i,.n+1nn+1n11 =X(t)-X(t)=i-i,...X(t)-X(t)=i-i}2121nn-1nn-1, =P{X(t1)-X(t)=i1-i}.