第六章,6.4,转移概率的极限与平稳分布

来源:班主任工作计划 发布时间:2020-01-06 12:38:51 点击:
6.4 转移概率的极限与平稳分布转移概率的极限与平稳分布 西安电子科技大学数学与统计学院西安电子科技大学数学与统计学院 李伟李伟 1 四四 转移概率的极限与平稳分布转移概率的极限与平稳分布 本节内容本节内容 转移概率的极限转移概率的极限 平稳分布平稳分布 ,, lim1 n ij n i jSp  任意的是否存在 lim ij n j n p  此时记 是否为一概率分布 2lim n ij n pi  若存在,极限是否与 无关 lim n ij n pi  3 什么条件下存在且与无关 转移概率的极限转移概率的极限 研究转移概率的极限研究转移概率的极限,主要关注以下问题主要关注以下问题 先通过几个例子观察先通过几个例子观察 例例6.4.1 设马氏链的状态空间为设马氏链的状态空间为S{1,2,3,4},一步一步 转移概率矩阵为转移概率矩阵为 1000 0100 12 00 33 111 0 442 P           1 lim1,2,3,4 n i n pi i  试分析极限是否存在, 是否与初始状态 有关. 4 1 2 3 2 3 1 2 1 3 1 4 1 4 1 1 11 21 31 lim lim lim n n n n n n p p p    易知有1, 0, 1 , 3 414111 41 11 1111 2422 nln l l ln pfp f        n l1 n l1 n l1 41 lim 2 n n p  1 所以有 1 lim1,2,3,4 n i n pii  因此极限存在,且与初始状态 有关. 0.70.3 0.40.6     P ,lim n ij n i jp i  对任意的S,试分析极限是否存在, 是否与初始状态 有关. {0 .0 6.4. 1. } 1 0 {} 2 n XXn S X   设,是描述天气 变化的齐次马氏链状态空间为,, 其中 与 分 例 别表示有雨和无雨天气 的一步转移概率矩阵为 0.5710.429 10 0.5710.429 n n     P解 01 limlim nn ii nn i pp i  即对任意的S,有 0.571,0.429 与初始状态 无关. 32 0.5830.417 0.5560.444      PP P 推再论回忆6.一个推论3.1 ,j lim0 n ij n iSS p    非常返零常对任意的当是或有返时, lim n ij n pi  极限存在,与初始状态 无关. 再依据状态空间分解,还可以知道 lim0 n ij n ij p   当属于不同的常返态不可约闭集时,有和 lim n jj n j p  而当周期态时为正常返,有 不存在 综上,转移概率的极限有不同的情况,为此,关于转 移概率极限问题的讨论做以下假设 ji是正常返总定且假是非常返 ji和 属于同或者一个正常返类 lim n jj n jp  ( ) 又当 为正常返周期态时,考虑到,不存在, 但是状态转移遵从周期链原则,为此但是状态转移遵从周期链原则,为此, 一般讨论以下一般讨论以下 形式的极限形式的极限 lim j ndr ij n p    1,2,, j rd 0 ,,1,2,, j ndr ijijj n frfi jSrd      为此记 jij frindr表示系统从状态出发,在某时刻终究 到达状态j的概率.且 110 jj j dd ndr ijij rrn frf       01 j j d ndr ij nr f       1 m ij m f     ij f 证明证明 1 j jj ij ndr ndrndr v v ijjj v pfp       0 jj ij n ldrn l d jj l fp     0. 01 0 j j n jj j ndr jj v d np ldrv ln p       不能整 除 时, 仅当时, , , , 有 定理定理6.4.1 设设j是正常返态,则是正常返态,则 lim , ,1,2,, j ndrj ijijj n jj d pfriS rd     jj j其中是状态 平均返回时间 0 jjj ij n ndrldrn l d ijjj l pfp     即 1Nn 对 001 jjjjj ijiji j j ldrnndr i l dldrn l dldr jjjj ll N j n Nl N fpfppf      lim i jnd jj n jj d Nnp   固定 ,让,并注意到,得 0 limlim jjj ij ldrndrndrj ijij n n l jj N d fpp        01 jj ijij N ldrldrj ll jj N d ff         N 再让得 lim j ndrj ijij n jj d pfr     ,1,2,, j iS rd 0 12 0 D, D 1,2, m SCCC C Cm     设马氏链的状态空间分解为 其中 为非常返状态子 结论 集,为零常返的不可约闭集, 为正常返的不可约闭集.则有 0 0 0,, , lim 0,, ij m n ijjj n ml mm jDCiS f jCiS p jCiCClm jCiDC                   遍历, 有周期, 一般不存在,有周期, lim ij n j n p  此时记 是否为一概率分布 lim ij n n p  什么情况下转移概率 极 从上述结 限 论中能否可以观察 与初始 到, 状态无关 极限分为此引入布的定义 lim,0,1 n ijjjj n j S p     且 {,} j jS则是一概率分布,称之为马氏链的则是一概率分布,称之为马氏链的极限分布极限分布. . X{,0,1,} ,, n Xn i jS   设为马氏链,若对定义6.4.1次 任意的 齐 有 1 lim0 n ij n jj p    即转移概率的极限存在,且与初始状态无关.即转移概率的极限存在,且与初始状态无关. X{,0,1,} ,, n Xn i jS   当马氏链为不可约的遍历链时, 对任意的 易知 有 0 lim n ij n jj p   ( ) 1 2.若是,但计算比较困难.有没简单方法 1 {,} jj jS  1.1.此时是否是一概率分布此时是否是一概率分布极限极限 疑问疑问 即即 分布分布 1 lim, def n ijj n jj pi jS    X{,0} n Xn 设为不可约定理的遍6.4.2历链,则 {,} , 0,1. j jiij i S jj j S jS xx pjS xx         且是线性方程组且是线性方程组 满足条件的唯一解满足条件的唯一解 X 1 lim, 因为 是不可约的遍历链,因此 1) 先证极限存在且不依赖初始 有 证明状态     def n ijj n jj pjS ,},2) 再证极限满足方程{组   jjiij i S jSxx pjS 1 C-K M k1 首先,对固定正整数M,由方程有    nn ijikkj ppp 而上式对一切S等号成立.j S 先令n,再令M,对上不等式取极限得     jkkj k p 事实上,若上式对某个j成立严格不等式,则两边 关于j求和,得 SSS    jk j S kkjkkj j Skj Skk pp 矛盾因此对于一切j成立有 S    jkkj k pjS ,}01.3) 证极限满足条{,件   jjj j S jSxx S 首先,反复利用可以得到   jkkj k p SSS SSS 2 S            j n kkjiikkj kki iikkjiij iki iij i ppp pppp S 即有   n jiij i p S 16.32 j 先令n,再令M,对上不等式取极限得     j 又由于转移概率一致有界,因此令n对  n ij p 1 M j1 再次,对固定正整数M,有  n ij p S 两边取极限,得   n jiij i p SSS limli m        nn nn jiijiijij iii pp S 1   i i ,.}4) 最后证的唯一性{ j jS S     n jiij i p ,}若还有满足条件的另一{,解则也有 j jS 令n,得  S     jijj i jS .唯一性得证 0.50.40.1 0.30.40.3 0.20.30.5       P ,lim对任意的S,试计算和.   n ijjj n i jp {}{ .0 1 2. 00 1} 6.4.3 2 n n Xn XXnS 设在任意一天里,人的情绪是快乐的、一般 的和忧郁的分别记为 ,, 令表示某 例 人第 天 的心情,则,是状态空间,, 上的齐次马氏链,一步转移概率为 S , 1 jiij i S i i p jS              解方程组 , 012 212318 626262 ,, 2 平稳分布平稳分布 6.4.2{X ,} j jS称称概概率率分分布布是是齐齐次次马马氏氏链链定定义义 平平稳稳分分布布 的的 一一个个,,如如果果有有 12 {,,},X ij p P其其中中为为 的的转转移移概概率率矩矩阵阵。。

, jiij i S pjS     或矩阵形式为 = P {,} X j jS若若概概率率分分布布是是齐齐显显然然 平平稳稳分分布布 次次马马氏氏链链 的的,,则则也也有有 ,,1,2, ij n ji i S jS np    n  或矩阵形式为 = P 30 ,, jiij i S jpS    X

推荐访问:表彰大会 表彰大会 表彰大会
上一篇:2017届高考生物大一轮复习,第五章,基因的传递规律,第1讲,基因的分离定律课件
下一篇:最后一页

Copyright @ 2013 - 2018 韩美范文网- 精品教育范文网 All Rights Reserved

韩美范文网- 精品教育范文网 版权所有 湘ICP备11019447号-73