马尔科夫链的状态分类.ppt

马尔可夫链的状态分类,一、互通与闭集,1互通,则称自状态i可到达状态j,则称状态i和状态j互通,说明,如果自状态i不能到达状态j，,定理1,即它满足,（1）自反性,（2）对称性,证,（3）传递性,（1），（2）显然，下证（3）,证3,则由相通定义，,根据切普曼-柯尔莫哥洛夫方程，有,同理可证,说明,按互通关系是等价关系，可以把状态空间 S 划分为若干个不相交的集合（或者说等价类），并称之为状态类。 若两个状态互通，则这两个状态属于同一类。 任意两个类或不相交或者相同。,2闭集,设C为状态空间S 的一个子集，,则C称为闭集,注1,若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。 显然，整个状态空间构成一个闭集。,吸收态,指一个闭集中只含一个状态,注2,若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。,3不可约的,若除整个状态空间 S 以外没有其它的闭集， 则称此马氏链是不可约的。,如果闭集C的状态都是互通的，则称闭集C是不可约的。,例1,其一步转移矩阵为,试研究各状态间的关系，并画出状态传递图。,解,先按一步转移概率，画出各状态间的传递图,由图可知,状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。,因此，状态空间S的各状态都是互通的。,又由于S 的任意状态i (i = 0，1，2)不能到达S 以外的任何状态，,所以S是一个闭集,而且S 中没有其它闭集,所以此马氏链是不可约的。,例2,其一步转移矩阵为,试讨论哪些状态是吸收态、闭集及不可约链。,解,先按一步转移概率，画出各状态间的传递图,闭集，,由图可知,状态3为吸收态,且,闭集，,闭集，,其中 是不可约的。,又因状态空间S有闭子集，,故此链为非不可约链。,二、首达时间和状态分类,1首达时间,系统从状态i出发， 首次到达状态j的时刻,称为从状态 i 出发首次进入状态 j 的时间，,或称自i 到j 的首达时间。,如果这样的n不存在，就规定,说明,自状态 i出发，经过n步首次到达状态j 的概率,自状态i出发，经有穷步终于到达状态j的概率,注1,对于首次到达时间,表示从状态 i出发首次返回状态i所需的时间,相应的 便是从状态i出发，经有限步终于返回状态 i的概率，,2首次到达分解式,定理2,证,设系统从状态i经n步转移到状态j，,由条件概率及马氏性得,说明,( m =1，2，n),的所有可能值进行分解，,定理3,证,充分性,由定理2得,从而,所以,必要性,由定理2得,所以,推论,3常返态与瞬时态,则称状态i为常返态,则称状态i为瞬时态,注,“常返”一词，有时又称“返回”、“常驻”或“持久”,“瞬时”也称“滑过” 或“非常返”,定理4,证,则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态i。,再由马氏性,系统返回状态i要重复发生,这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。,将“不返回i”称为成功，,则首次成功出现的次数服从几何分布，,这就是说,也就是说以概率1只有有穷次返回i。,定理5,证,令,n = 0，1，2，,因此，从状态i出发，访问状态i的平均次数为,由定理4，得证。,说明,本定理的等价形式：,i为瞬时态，当且仅当,定理6,证,如果i为常返态，且 ，则j也是常返态。,因,由切普曼-可尔莫哥洛夫方程得,上式两边对所有的s相加，得,又因为i为常返态，,所以,故得,从而,即状态j也是常返态,定理7,所有常返态构成一个闭集,证,设i为常返态，,即i和j相通。,这是因为,若自j出发不能到达i，那么从i出发到达j后，就不能再返回i，这与i是常返态的 相矛盾。,再由定理6知，j也是常返态，,这就是说，,自常返态出发，只能到达常返态，不能到达瞬时态。,故常返态全体构成一个闭集,4状态空间的分解,如果已知类中有一个常返态，则这个类中其它状态都是常返的；,若类中有一个瞬时态，则类中其它状态都是瞬时态。,若对不可约马氏链，则要么全是常返态，要么全是瞬时态。,定理8,任一马氏链的状态空间S必可分解为,其中N是瞬时态集，,而且,证,记C为全体常返态所构成的集合，,则由定理7知C为闭集,将C按互通关系分类：,那么再从余下的状态中任取一个状态,如此进行下去 ，,并且显然满足条件（1）和（2）。,5正常返态与零常返态,平均返回时间,从状态i出发，首次返回状态i的平均时间,称为状态i平均返回时间.,根据 的值是有限或无限，可把常返态分为两类：,设i是常返态，,则称i为正常返态；,则称i为零常返态。,定理9,设i是常返态，则,（1）i是零常返态的充要条件是,（2）i是正常返态的充要条件是,证明（略）,推论,证,因为,由定理9，上式第一项有,从而推论得证。,说明,用极限判断状态类型的准则,（2）i是零常返态,（2）i是正常返态,（1）i是瞬时态,且,且,定理10,证明,由切普曼-可尔莫哥洛夫方程得,由此可知,由定理9知,6有限马氏链,对有限状态的马氏链我们给出不加证明的性质,定理11,（1）瞬时态集N不可能是闭集； （2）至少有一个常返态； （3）不存在零常返态； （4）若链是不可约的，那么状态都是正常返的 （5）其状态空间可分解为,是互不相交的由正常返态组成的闭集。,例3,转移矩阵,试对其状态分类。,解,按一步转移概率， 画出各状态间的传递图,从图可知，此链的每一状态都可到达另一状态，即4个状态都是互通的。,考虑状态1是否常返，,类似地可求得,所以,于是状态1是常返的。,又因为,所以状态1是正常返的。,由定理可知，此链所有状态都是正常返的。,例4,设马氏链的状态空间S=0,1,2,，其一步转移概率为,其中,试证此马氏链是一个不可约常返态链,证,先证S不可约,设i，j是I中任意两个状态，,则有,类似地可证,所以,即I中任意两个状态都是相通的。,因此，S是一个不可约的闭集,再证S中状态0是一个常返态：,由状态的转移规则，得,所以,由定义知状态0为常返态。,因此，由定理知S中所有状态都是常返态。,故此马氏链为不可约常返链。,三、状态的周期与遍历,1周期状态,对于任意的 ，令,其中GCD表示最大公约数,则称 为周期态，,则称 为非周期态。,定理12,证,所以存在正整数m、n，使,则有,则有,因此有,类似地可证得,故,（2）,所以,从而i为非周期态。,又因为马氏链不可约，,所以j也是非周期态，,从而该马氏链是非周期链。,2遍历状态,若状态i是正常返且非周期，则称i为遍历状态。,例5,设马氏链的状态空间S = 0,1,2,，转移概率为,试讨论各状态的遍历性。,解,根据转移概率作出状态传递图,从图可知，对任一状态 都有 ，,故由定理可知，S中的所以状态都是相通的，,因此只需考虑状态0是否正常返即可。,故,从而0是常返态。,又因为,所以状态0为正常返。,又由于,故状态0为非周期的,从而状态0是遍历的。,故所有状态i都是遍历的。,习题课,1带有两个反射壁的随机游动,如果状态空间S = 0，1，2，m，移动的规则是： （1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在m处，则下一步以概率q向左移动一个单位，以概率p停留在原处； （3）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。,设 表示在时刻n质点的位置，则 ， 是一个齐次马氏链，写出其一步转移概率矩阵。,2带有反射壁的随机游动,设随机游动的状态空间S = 0，1，2，移动的规则是： （1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。,设 表示在时刻n质点的位置，则 ， 是一个齐次马氏链，写出其一步转移概率。,3一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。,4一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。,5设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。,解 这是一个齐次马氏链，其状态空间为,S=a，a+1，1，0，1，2，a,一步转移矩阵是,6设马氏链的状态空间S=1，2，3，4，其一步转移矩阵为,解,试对其状态分类。,按一步转移概率，画出各状态间的传递图,它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。,可继续讨论是否为正常返态,可讨论状态1,状态1是常返态,状态1是正常返态,所以，全部状态都是正常返态,7设马氏链的状态空间S=1，2，3，4，5，其一步转移矩阵为,试研究各状态的类及周期性,解,各状态间的传递图,对于任意 有， 即S为不可再分闭集。,所以S中每一个状态都是常返态， 且此马氏链为有限状态不可约 常返链。,所以状态1的周期为3，由定理知，S中所有状态都为周期态，且周期都为3。因此，这个