4马尔科夫链演示教学.ppt

密度矩阵 由 即 可得 柯尔莫哥洛夫向前方程是 向后方程是 假定平稳分布 由 可得 由 可知 0 2 1 1 0 2 p p m m l l = 定理4 若其密度矩阵可表示成 其中 则 是生灭过程。 定理2 （1）若状态是正常返，则该链存在平稳分布， 且平稳分布 （其中 是从状态j出发首次返回状态j的平均时间） （2）若所有状态是瞬时态，或所有状态是零常返态，则不存在平稳分布。 （3）若是有限马氏链，则一定存在平稳分布。 （4）绝对分布的极限是平稳分布，即 例2 设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中各任取一球并进行交换，以 表示开始时甲盒中红球的个数， （ ）表示经n次交换后甲盒中的红球数。 ( 1 ) 求马氏链{ ， }的转移概率矩阵； ( 2 ) 证明{ ， }是遍历的； （3）求 （4）求 解 其一步转移矩阵为 甲 乙 红球0 白球3 红球2 白球1 红球1 白球2 红球1 白球2 红球2 白球1 红球0 白球3 并作出状态传递图 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 （2）由于它是一个有限马氏链，故必有一个常返态， 又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链，从而每个状态都是正常返的。 所以此链为非周期的。 故此链是不可约非周期的正常返链，即此链是遍历的。 （2）可以利用定理证明遍历性 解之得 故得 （4） 例3 市场占有率预测 设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂，试求 （1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布； （4）当顾客流如此长期稳定下去市场占有率的分布。 解 （1） 由题意得频数转移矩阵为 再用频数估计概率，得转移概率矩阵为 （2）以1600除以N中各行元素之和，得初始概率分布（即初始市场占有率） 所以9月份市场占有率分布为 （3）12月份市场占有率分布为 （4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。 解方程组 即得当顾客流如此长期稳定下去是市场占有率的分布为 讨论对时间连续状态离散的马尔可夫过程，取时间参数 ，状态空间I={0,1,2,…} 第四节 时间连续的马尔可夫链 一、定义及性质 时间连续的马尔可夫链 转移概率 齐次 马氏链 转移概率仅由t决定而与s无关 2．性质 性质1 切普曼——柯尔莫哥洛夫方程 性质2 连续时间齐次马氏链的有限维概率分布由它的初始分布和转移矩阵所确定 注 性质3 注 对时间来说是可逆性 性质4 已知现在，那么过去与将来是独立 注 性质5 （遍历性定理） 马尔可夫定理 设{ , }是状态空间I={0,1，2,…,s}的时间连续的齐次马氏链， 则 的满足条件 的唯一解。 例1 考虑一个电话总机接到的呼唤流，以 表示这个总机在[0，t]中接到的呼唤次数，由于呼唤流在不相交的时间区间中接到的呼唤次数是相互独立的，且 服从泊松分布，所以 是一个时间连续状态离散的马氏过程，而且是齐次的。写出它的转移概率。 当呼唤次数 时 转移概率 当 时 其状态空间I={0，1，2，…} 转移概率为 1．随机连续 则称{ }是随机连续的。 定理1 二、柯尔莫哥洛夫微分方程 时间连续的齐次马氏链{ , }是随机连续的充要条件为：对任意的 ，有 随机连续直观意义 当系统经过很短时间，其状态几乎不变。 标准转移概率 若时间连续的齐次马氏链是随机连续的，则称其转移概率是标准的。 并且满足性质: 2．转移概率的性质 性质1 性质2 定理2 并且对任意 ，有 （2）对时间连续的齐次有限马氏链， ，有 若 注1 推论 则对任意 ，有 即 为吸收态 等价 它表明系统从状态i出发，是继续留在状态i