马氏链及其应用.ppt

例1 设 则由此确定的马氏链为正则链。令 满足 ⑾式，即有 由此得到方程组 联系⑿则得到 故方程组的解为 这和前面的结果是相吻合的。 例2 设 因 故由此确定的马氏链是正则链。令 由方程⑾，⑿确定方程组 从方程中解出 即 吸收链 定义 如果存在某个状态转移概率 则称状态 是 吸收的. 如果马氏链中含有吸收状态, 并且从每一个非 吸收状态出发都可以达到某个吸收状态，则称这个马氏 链为吸收链。 例如在前面三个状态的转移概率中，转移概率矩阵 为 并且从每个状态最终都转移到第三种状态, 因而这样的 链是吸收链。 注 吸收链的特征是：任一状态一旦进入该状态就 将停留在该状态。 含有 个吸收状态和 非吸收状态的吸收链的 状态转移概率矩阵的标准形式是 其中 是单位矩阵。 定理3 对于具有标准形式的状态转移概率矩阵，有如 下的性质： ⑴矩阵 具有零极限，即 ⑵矩阵 可逆且 ⑶记 则矩阵的第 行元素之和值是从非 吸收状态出发被某个吸收状态吸收之前的平均转移次 数。 * * * * * 马尔科夫连原理及其建模实例 马氏链及其应用 1.一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康 与疾病以及相应的风险。通过下面的例子我们来看保险 公司是如何处理这类问题的。 问题的提出 设 表示年龄的时段，假定在一年中，今 年健康而明年患病的概率是 而今年患病明年转为健 康的概率为 假设一个人在投保时处于健康状态，我 们来研究若干年之后他分别处于这两种状态的概率。 建模 用随机变量 表示第 年的状态， 表示健康， 表示疾病。 以 表示第 年状态为 的概率。即 ⑴ 以 表示今年状态处于 明年状态处于 的概率，即 由全概率公式得到： ⑵ 即 由假设， ⑶ 再由于投保人处于健康状态，即 由此得到 若投保人在开始时处于疾病状态，即 则有 从两张表中可以看到，无论投保人在初始时处于什么 状态，当时间趋于无穷大时，该时刻的状态趋于稳定， 且与初始值无关。即 两种状态的转移概率 意义 若将众多投保人处于两种状态的比例，视为投 保人处于两种状态的概率，例如健康人占3/4，病人占 1/4，即 则同样可计算出 由上面的分析可以看出，对于给定的状态转移概率， 时的状态概率， 趋向于稳定值，该 值与初始值无关，这是马氏链的重要性质。 把人的死亡看作第三种状态，用 来表示，相 应的转移概率如下图表示。 三种状态的转移概率 仍以 表示状态 为 时的概率， 表示状态转移概 率，即有 平行于⑴式，有 设投保人在期初处于健康状态，则由⑷可计算出若干 年后他处于各个状态的概率。 ⑷ 表中最后一列数据是通过预测得到的。从表中的数据 又可以看到，无论投保人在期初处于什么状态，当 时，总有 2.马尔可夫链 假设 1.系统是随时间的发展而离散为 2.在任何时刻，系统的状态为有限多个。在时间 时， 系统的状态的 的取值为 3.在时刻 时系统处于各状态的概率只与时刻 时 系统所处的概率与转移概率有关。 满足以上三个假设的系统的随机发展过程称为马尔可 夫过程或马氏链。 设在时刻 时系统处于状态 的概率为 行向量 称为状态概率向量，由概率的意义，向量应该满足 ⑸ 及 ⑹ ⑺ 设在时刻 处于状态 的系统转移到 时刻处于 的概率为 它应该满足 1. 2. ⑻ 引如概率转移矩阵 由假设3，再由全概率公式得 ⑼ 用矩阵的方法来表示的话，⑼可以写成 简单地可以写成 由此可得系统在时刻 时的状态向量为