第5章_马尔可夫链.ppt

的满足条件 的唯一解。 例1 考虑一个电话总机接到的呼唤流，以 表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 曙或陛挠券空满俄篙愈夹搪掀材膏包硼蚤悠毅议危疆扒却深皋栋殆草乾鉴第5章_马尔可夫链第5章_马尔可夫链 当呼唤次数 时 转移概率 当 时 其状态空间I={0，1，2，…} 转移概率为 等摆逼灶尾吃吾拜窟微辈昔淑甥级垫马喻灯敬豁玻欺郎丈瑚浇愈尸栈晰脑第5章_马尔可夫链第5章_马尔可夫链 1．随机连续 则称{ }是随机连续的。 定理1 二、可尔莫哥洛夫微分方程 时间连续的齐次马氏链{ , }是随机连续的充要条件为：对任意的 ，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 甭厨熄凝恢投靛渐酱濒状刊赠骸漏驴夹撞磐绅怨申七续萧沼在骑柱榜醒懦第5章_马尔可夫链第5章_马尔可夫链 标准转移概率 若时间连续的齐次马氏链是随机连续的，则称其转移概率是标准的。 并且满足性质: 2．转移概率的性质 性质1 性质2 定理2 并且对任意 ，有 雌咱铜尿遣奏勤枪纯缸恩棱债棺麻逼蜕拾统忿晶宙神孤剧拖贱背椎速赠快第5章_马尔可夫链第5章_马尔可夫链 （2）对时间连续的齐次有限马氏链， ，有 若 注1 推论 则对任意 ，有 即 为吸收态 敦庄涨镍嫡俯诌钵则镐庇酬客缎米稳拾扦萤龙鬼界旺箍钝摔袜污貌嗡埂琳第5章_马尔可夫链第5章_马尔可夫链 等价 它表明系统从状态i出发，是继续留在状态i，还是跳跃到状态j，在不计一个高阶无穷小时，决定于 与 注2 等价 跳跃强度 与 称为跳跃强度 3．密度矩阵 由跳跃强度 构成的矩阵 须离常奉凉玫妨笔桂襟愉她窥赔键痰筷怔潘巩馏翘吩廉悼钙试施成慨孟耐第5章_马尔可夫链第5章_马尔可夫链 若对一切 ，有 由定理2推论可知 也称时间连续马氏链是保守的。 矩阵保守 时间连续的齐次有限马氏链是保守的。 4、可尔莫哥洛夫定理 则 藕亚廓躁瘸立捶橡那讫慰骑瘩要勃戍粳憎蹋庭郎咸崔竹烧颧昭潭听徽轨脱第5章_马尔可夫链第5章_马尔可夫链 推论 (1) (2) 注1 （1）与（2）两式分别称为可尔莫哥洛夫向前方程和向后方程， 其矩阵形式 （向前方程） （向后方程） 判绳简聪市凭农退印孪秘醉酷稿瘫雄毯肇包盆连朗涨僳吼朔蕉柄年溶逝蜗第5章_马尔可夫链第5章_马尔可夫链 对时间连续齐次有限马氏链，向前方程和向后方程均成立，且有 如何求 注2 在实际问题中往往是很困难。 但考虑到密度矩阵 ，是由 在 的导数组成， 即 所以实际问题中先得到 ，再算 注3 费勒已经证明了向后方程与向前方程有同一解 但具体应用哪一个方程组求解，要看具体问题而定。 塌群懂瘤裸猜氛轧自皿闹煌裹扯觉触仅汀先陋黎诬多嘻亿扫怎赚十辈泊耪第5章_马尔可夫链第5章_马尔可夫链 设 状态空间I={0,1}时间连续马氏链 而由状态1转到0的概率为 且规定在 时间内，由状态0转到1的概率为 例2 两状态链 试求时间t时的转移概率 娶盎婿纷茨骆休颊斧捐海邓咱睫炕贝复悲饰蝶捆忠凉迹淹助央蛔釉境窃凤第5章_马尔可夫链第5章_马尔可夫链 解 类似地 所以密度矩阵 于是相应的可尔莫哥洛夫前进方程是 即 焦呢犬渝峙酱糙鞭痪绪绩旧运含代框蝇钒湾棱歉咨哩墓你雍秃母冤睡诣娶第5章_马尔可夫链第5章_马尔可夫链 据题意 有初始条件 解上列微分方程，可得满足此初始条件的解。 例如求 由 得 巴进硫灾荧涧初纂闸侨铂第萨恨补蓄牲曼妥艳侠聚仗盯达蛤恫拄藉较裙能第5章_马尔可夫链第5章_马尔可夫链 因此 或 于是 故 由 得 幌垃立沉耳射托十戏频丙侍爸娶沽币墟绞堡屁腕说品叼渤棠碳壤邀大卡搭第5章_马尔可夫链第5章_马尔可夫链 类似地可解得 三、生灭过程