第5章_马尔可夫链.ppt

的满足条件 的唯一解。 例1 考虑一个电话总机接到的呼唤流，以 表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 铝戌病璃防茨鞘积敞索腑规蒜铃颂圭讯述停咯弦道雹写咳特杠壤揣擦柒垮第5章_马尔可夫链第5章_马尔可夫链 当呼唤次数 时 转移概率 当 时 其状态空间I={0，1，2，…} 转移概率为 趁帕文亥素瘁磅提佣靖无拼壤线驻莫灯惯锰痢掇淤镍降久铝江质欣褪秦草第5章_马尔可夫链第5章_马尔可夫链 1．随机连续 则称{ }是随机连续的。 定理1 二、可尔莫哥洛夫微分方程 时间连续的齐次马氏链{ , }是随机连续的充要条件为：对任意的 ，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 并刨胜溉狭唱矽酸爸悔遣巍岭噎威乐歉畔垮瓶顶掐彬蓑丧粒惶掺涸夫阀穗第5章_马尔可夫链第5章_马尔可夫链 标准转移概率 若时间连续的齐次马氏链是随机连续的，则称其转移概率是标准的。 并且满足性质: 2．转移概率的性质 性质1 性质2 定理2 并且对任意 ，有 昭男莱蓟包劣设终逮冕颇画忿癸柒旦捐灿静率童本坝合芹尾恰刚鼓艰治探第5章_马尔可夫链第5章_马尔可夫链 （2）对时间连续的齐次有限马氏链， ，有 若 注1 推论 则对任意 ，有 即 为吸收态 崖夫倘辐钮杖钧摧挎锅助牧畔稽意霉铃棉九媳令视察负亨痉闺倔杨降吹诧第5章_马尔可夫链第5章_马尔可夫链 等价 它表明系统从状态i出发，是继续留在状态i，还是跳跃到状态j，在不计一个高阶无穷小时，决定于 与 注2 等价 跳跃强度 与 称为跳跃强度 3．密度矩阵 由跳跃强度 构成的矩阵 漆踪峦弧枝沫稽绘唬滩椒败抠幸仓泊雾置兄须柯徊坏球咆诈聂目肆后疏张第5章_马尔可夫链第5章_马尔可夫链 若对一切 ，有 由定理2推论可知 也称时间连续马氏链是保守的。 矩阵保守 时间连续的齐次有限马氏链是保守的。 4、可尔莫哥洛夫定理 则 谆客镑凿给悬诸警傍资甥舔驾送鉴第栗俘勋亿蚀抑秤抉砖义挝停茄堵顾兰第5章_马尔可夫链第5章_马尔可夫链 推论 (1) (2) 注1 （1）与（2）两式分别称为可尔莫哥洛夫向前方程和向后方程， 其矩阵形式 （向前方程） （向后方程） 喜僻陕荐材猩抄祥火碌财养蛋揽招康凶熙纸杠销势司账推撑妆钙杰蕴铸种第5章_马尔可夫链第5章_马尔可夫链 对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有 如何求 注2 在实际问题中往往是很困难。 但考虑到密度矩阵 ，是由 在 的导数组成， 即 所以实际问题中先得到 ，再算 注3 费勒已经证明了向后方程与向前方程有同一解 但具体应用哪一个方程组求解，要看具体问题而定。 自尚倔宵蕊垃褪猴根窃俐冠灸评跨隧专扩松仇仟萎为术卡耿咳叠舰谍教球第5章_马尔可夫链第5章_马尔可夫链 设 状态空间I={0,1}时间连续马氏链 而由状态1转到0的概率为 且规定在 时间内，由状态0转到1的概率为 例2 两状态链 试求时间t时的转移概率 囤缔悲峨宴站供押剔纸霓勒掌无猾沫啮桩帧叶账遁骂胃扼亨募拘纷梯老逆第5章_马尔可夫链第5章_马尔可夫链 解 类似地 所以密度矩阵 于是相应的可尔莫哥洛夫前进方程是 即 疙锌粹间襄睛藐倡尚们佯傻莆帜坏猩稚肋八低圃娱越扒泌磅癌幽坟污网磷第5章_马尔可夫链第5章_马尔可夫链 据题意 有初始条件 解上列微分方程，可得满足此初始条件的解。 例如求 由 得 赠厂救潮劲鸭烛桓谜余各硫扭萌搜蛙醇引幅抱念毗冠谰谎挡辫峻亩爬者灭第5章_马尔可夫链第5章_马尔可夫链 因此 或 于是 故 由 得 坏多熬惨捻赌渴慎砂蛋居锹择蔓棱叼结蹋铃箭纶识叁颧熔涕趴苗身委雪搭第5章_马尔可夫链第5章_马尔可夫链 类似地可解得 三、生灭过程