随机过程Ch5连续时间马尔可夫链.ppt

1、第五章 连续时间马尔可夫链,I 马尔可夫链,5 4 3 2 1 0 1 2 3 4 5 T,5.1 连续时间马尔可夫链,定义5.1 设随机过程X(t)，t 0 ，状态空间I=0,1,2,，若对任意 0t1 t2tn+1及非负整数i1,i2, ,in+1 ，有 PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in =PX(tn+1)=in+1|X(tn)=in， 则称X(t)，t 0 为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= PX(s+t)=j|X(s)=i,5.1 连续时间马尔可夫链,定义5.2 齐

2、次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t) ，i,jI，t 0 性质：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有 (1) (2) i 服从指数分布,5.1 连续时间马尔可夫链,s,s+t,0,i,i,i,i,t,i,证(1) 事实上,5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,(2)设i的分布函数为F(x), (x0), 则生存函数G(x)=1-F(x) 由此可推出G(x)为指数函数，G(x)=e-x, 则F(x)=1-G(x)=1-e-x为指数分布函数。,5.1 连续时间马尔可夫链,

3、过程在状态转移之前处于状态i的时间i服从指数分布 (1)当i=时， 状态i的停留时间i 超过x的概率为0，则称状态i为瞬时状态； (2)当i=0时， 状态i的停留时间i 超过x的概率为1，则称状态i为吸收状态。,5.1 连续时间马尔可夫链,定理5.1 齐次马尔可夫过程的转移概率具有下列性质： (1) pij(t)0; (2) (3) 证 由概率的定义，(1)(2)显然成立，下证(3),5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,注： 此为转移概率的正则性条件。,5.1 连续时间马尔可夫链,定义5.3 (1)初始概率 (2)绝对概率 (3)初始分布 (4)绝对分布 定理5.2 齐次马

4、尔可夫过程的绝对概率及有限维概率分布具有下列性质：,5.1 连续时间马尔可夫链,(1) pj(t)0 (2) (3) (4) (5),5.1 连续时间马尔可夫链,例5.1 证明泊松过程X(t), t0为连续时间齐次马尔可夫链。 证 先证泊松过程的马尔可夫性。 泊松过程是独立增量过程，且X(0)=0，对任意0t1 t2 tn tn+1有,5.1 连续时间马尔可夫链,另一方面 即泊松过程是一个连续时间马尔可夫链。,5.1 连续时间马尔可夫链,再证齐次性 当j i时， 当ji时,因增量只取非负整数值,故pij(s,t)=0， 所以 转移概率与s无关，泊松过程具有齐次性。,5.2 柯尔莫哥洛夫微分方程

5、,引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i, jI，pij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在,5.2 柯尔莫哥洛夫微分方程,称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。 推论 对有限齐次马尔可夫过程，有,5.2 柯尔莫哥洛夫微分方程,若连续时间齐次马尔可夫链具有有限状态空间I=0,1,2,n 问题：能否由Q可求转移概率？,5.2 柯尔莫哥洛夫微分方程,定理5.4(柯尔莫哥洛夫向后方程) 假设 ，则对一切i,j及t0，有 证 由切普曼-柯尔莫哥洛夫方程有,5.2 柯尔莫哥洛夫微分方程,定理5.5(柯

6、尔莫哥洛夫向前方程) 在适当的正则条件下有,5.2 柯尔莫哥洛夫微分方程,向后方程的矩阵形式：P(t)=QP(t) 向前方程的矩阵形式：P(t)=P(t)Q,注：,5.2 柯尔莫哥洛夫微分方程,定理5.6 齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t) 满足方程：,证,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,定义5.4 设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)0， pji(t2)0，则称状态i与j是互通的。 若所有状态都是互通的，则称此马尔可夫链为不可约的。 可定义状态的常返性,5.2 柯尔莫哥洛夫微分方程,例5.2

7、设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分布。,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,转移概率为,5.2 柯尔莫哥洛夫微分方程,转移概率的极限为 平稳分布为,5.2 柯尔莫哥洛夫微分方程,若取初始分布为平稳分布，即 则过程在时刻t的绝对概率分布为,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,定理5.7 设连续时间马尔可夫链是不可约的，则有下列性质： (1)若它是正常返的，则极限 存在且等于j 0，jI。这里j 是 的唯一非负解，此时称j 0，jI是该过程的平稳分布，并且有 (2)若它是零常返的或非常返的，则

8、,例如上例中马氏链有两个状态I=0,1，那么,生灭过程,设某系统具有状态集S=0,1,2,或S=0,1,2,k, N(t)表示系统在时刻 t (t=0) 的状态。 若在N(t)=n的条件下，随机过程N(t),t=0满足 以下条件: (1) N(t+t)转移到“n+1”的概率为Pn,n+1(t )=nt ; (2) N(t+t)转移到“n-1”的概率为Pn,n-1(t )= nt ); (3) N(t+t)转移到其他状态“S-n+1,n-1”的概 率为o(t )(高阶无穷小) ; 则称随机过程N(t),t=0为生灭过程。,生灭过程状态变化的性质,(1) 在无穷小t内,系统或生长1个;或灭亡1个;或既 不生长又不灭亡（概率:1- n(t ) -n(t ) ）; (2)系统生长一个的概率n(t )与t有关，而与t无 关; 与系统当前状态n有关，而与以前的状态无关； (3)系统灭亡一个的概率n(t )与t有关，而与t无 关; 与系统当前状态n有关，而与以前的状态无关；,马尔可夫性质,若排队系统具有下列性质