第8讲第4章节马尔科夫链(3).ppt

例3 某地区有1600户居民,只有甲、乙、丙三个工厂的某产品在该地区销售。据调查，8月份买甲乙丙产品的户数为别为480，320，800。9月份调查发现，原买甲的有48户转买乙产品， 96户转买丙产品；原买乙的有32户转买甲产品， 64户转买丙产品；原买丙的有64户转买甲产品， 32户转买乙产品；预测 （1）9月份和12月份格产品的市场占有率 （2）市场平稳后，各产品的市场占有率 解：若将此市场的变化看作齐次马尔可夫链。状态1，2，3分别表示甲、乙、丙工厂的产品。 那么初始分布： 转移频数阵： 频数阵的第1，2，3行非别除以480，320，800，得转移概率阵： 市场平稳后，格产品的市场占有率即平稳分布。 9月份市场占有率 12月份市场占有率 解得 市场平稳后，甲乙丙产品占市场的份额分别为：21.9%,15.6%,62.5% 例4： 设农用拖拉机站每季度对拖拉机进行一次检查和维修。根据零件磨损程度将拖拉机分为5类： 状态 1 2 3 4 5 运行效率（%) 90-100 75-89 60-74 40-59 不运行 当拖拉机处于1，2，3，4，5时，估计一季度可获利润分别为5000、4000、3000、2000和0元。根据过去的资料，拖拉机的磨损状态的自然转移概率阵为： 有3种维修策略，分别是：处于状态5时维修，处于状态4，5时维修，处于状态3，4，5时维修，处于状态3时维修，修理费用平均要300元，处于状态4时维修，修理费用平均要500元，处于状态5时维修，修理费用平均要1000元。问，从长远考虑，为了得到更多的利润，哪种维修策略最好？ 解：对于第一种大修策略，处于状态5时维修，转移概率阵为 的极限分布 由 解得 平均利润 平均维修费用： 平均净利润: 2722-199=2523 对于第二种大修策略，转移概率阵为 由 解得 平均利润 平均维修费用： 平均净利润: 2998-181=2817 =2998.6 对于第三种大修策略，转移概率阵为 由 解得 平均利润 平均维修费用： 平均净利润: 3539-169.5=3369.5 =3539 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 * §4.3 状态空间的分解 定义：C为状态空间I的子集， 则称C为I的闭集。 引理4.4：若C为状态空间I的闭子集，则对任意 若对任意的 显然：若C为状态空间I的闭子集，则C中元素形成的转移概率子矩阵 是随机矩阵 1 2 3 4 1 1 1 0.8 0.2 例如：从下面状态空间为I={1,2,3,4}的马尔科夫链的转移概率图可以看到 {2,3}是一个闭集 {2,3}对应的子矩阵(粉色部分） 是随机矩阵。 注意到：{2,3，4}也是闭集 {2,3，4}对应的子矩阵（绿色部分） 也是随机矩阵。 1 2 3 4 1 1 1 0.8 0.2 但是闭集{2,3}中的两个状态互通 而闭集{2,3，4}中的3个状态不是互通的。3不可达4。 同样I={1，2,3，4}也可以看做闭集， 但其中的的4个状态不是互通的。 为区别状态子集的这种不同特点，引入不可约子集的概念： 定义：若C为状态空间I的闭子集，且C中任意两个状态互通，则称C是I的不可约闭集； 特别：若Markov链I的任意两个状态互通，则称该Markov链是不可约的。 例6： 证明（马尔科夫链的常返态的几个性质） 则表明由 出发不能概率1返回 ， 证明 （1） 所以存在n 0 使 则导致由 出发不能概率1返回 ， （2）和（1）的证明类似。 （3） 由（2）知， 本例是马尔科夫链的常返态的一个重要性质！ 据此可对是马尔科夫链进行状态分解： 定理4.10：任一马氏链的状态空间I，都可以唯一分解为互不相交的子集 之和： 其中 是所有非常返态的集合。 是不可约的常返闭集 注1： 注2： 是所有非常返态的集合，其中各状态未必互通，周期也未必相同。 注3： 证明 首先将状态空间按个状态的常返性分解为： 然后，将 进一步分解： 作 作 同理， 是不可约的常返闭集。 重复此过程，得 是不可约的常返闭集 为常返集， 为非常返集。 证毕！ §4.4 的渐近性质与平稳分布 定理*： 证明： 一、 的渐近性质 为非常返，或零常返时， 并注意到 得： 为正常返 时， 得： 为正常返 时： 注 若马氏链不可约， 此时该链所有的状态属性相同。 若不可约马氏链为正常返非周期的，则： 若全为非常返或零常返