12.2 马尔可夫链（课件）- 《概率论与数理统计》同步教学（机工版· 第4版）

《概率论与数理统计》 12.2、马尔可夫链 别为1/2,1/4,1/4,即 例1 (Markov Frog) 有一个青蛙在某池塘中的三片 荷叶(标号为1， 2， 3)上跳来跳去，如图所示，用 随机变量序列 表示青蛙在时刻n时的 位置，开始状态青蛙在第1，2，3片荷叶上的概率分 称其初始分布为 其一步转移概率矩阵为 设一步转移概率为 定义12－5 设{X(n)，n=1, 2, …}为一随机序列，状 态空间S为有限或可列集，对于正数数n，若ikS 有 则称{X(n)，n=1, 2, …}为马尔可夫链，简称马氏链. 定义12－6 设{ X(n)，n =0, 1, 2, …}为随机变量序 列，状态空间S={1,2，…, N}, 则起始时刻的分布 称为该随机变量序列的初始分布。其向量形式为 显然满足下列性质 需要指出的是：这里的N可以趋于。 定义12－7 设{ X(n)，n =1, 2, …}为随机变量序列 称为该随机序列由状态i经过m步转移到 j状态的转移概率. 若 与n无关，即 它的含义是：系统由状态i到状态j的转移概率只依赖于时间间隔的长短，与起始时刻n无关。 称该随机序列具有齐次性。 若m=1, 称 状态i转移到j的一步转移概率. 对于齐次的随机变量序列{ X(n)，n =1, 2, …}， 为该齐次随机变量序列的m步转移概率矩阵，若该 随机变量序列的状态空间S={1, 2, …，N}, 则m步转 移概率矩阵P(m)为： 特别地，当m=1时，P(1)为一步转移概率矩阵，记为P 它具备下列三条基本性质 （1）对一切 （2）对任间的 （3）对任间 如何利用计算机描述马氏过程呢？其过程可以通过 例1来详细说明。 (1) 产生一个随机数 即在[0, 1]区间上 随机取一个数，则 (2) 再产生一个随机数, 若 ，则 ，则 若 若 ，则 如此继续下去，得到一系列随机变量。 例12－10 编号为Ⅰ,Ⅱ,Ⅲ的口袋中各装有一 些球，其具体组成下表. 球个数 一号球 二号球 三号球 口袋Ⅰ 口袋Ⅱ 口袋Ⅲ 2 2 3 1 0 2 1 1 0 若规定有放回的抽取，每次取一个，第一次 从口袋Ⅰ中取，第n(n>1)次从与第n-1次取到 马氏链，试写出它的一步转移概率矩阵. 的球号数相同的口袋中取，X(n)表示第n次取 到的球的号数，显然{X(n) n=1,2……}且一个 解 例12－11 某计算机机房的一台计算机经常 出故障，研究者每隔15分钟观察一次计算机 的运行状态，收集了12小时的数据(共作49次 观察)用1表示正常状态，用0表示不正常状态 所得的数据如下： 态空间S={0,1}求其转移概率矩阵. 111001001111111001111011111101111111 1100011011011 解 根据题意，48次状态转移情况 5次 8次 27次 8次 设X(n)为某n (n=1，2,…,49)个时段的计算机 状态，可以认为它是一个齐次的马氏链，状 因此一步转移概率可近似地表示为 示第n次观察时店内的顾客数，记录数据如下 例12－12 假设一小理发店有一名服务员和 一个供等候理发的顾客坐的椅子，即该店最 多可容纳2名顾客，若新来的顾客发现店内 有2名顾客立即离去而不在店外等候，现在 每隔15分钟观察一下店内的顾客数，X(n)表 0 2 1 2 1 0 2 2 1 1 0 1 0 0 0 1 1 2 2 2 1 0 估计一步转移概率矩阵。 解：首先将不同类型转移数nij统计分类记入下表 ij转移数nij 0 1 2 行和ni 0 1 2 2 2 2 4 2 2 0 4 3 6 8 7 定理12－1(C－K方程即切普曼-柯尔莫哥洛夫方程) 设{ X(n), n =1, 2, …}为齐次马氏链，其状态空间S={1，2，…}，则对任意正整数m, n，有 12.2.2、切普曼-柯尔莫哥洛夫方程 如果知道了一步转移概率矩阵，如何求出任 意有限多步转移概率是随机过程中重要的研 究问题之一. 上述方程称切普曼-柯尔莫哥洛夫方程，简称为C-K方程，可写成如下矩阵形式 证明： 例12－13 若马氏链{X(n)，n=1,2……},状态空间S={1，2，3}其一步转移概率为 求由状态1经过2步到达状态3的概率，即求 解：根据题意，系统的转移情况如下： 定理12.2 设齐次的马氏链 的状态空间为 初始分布为 由此不难得到 证明 对任意的 ，有 值得注意的是： 时， 的极限存在为 即 则应满足 例12－14 若顾客的购买是无