马尔科夫链.ppt

上表中的4个概率就称为状态的转移概率，而这四个转移概率组成的矩阵　　　　　　　　　　　　　 B＝ 称为转移概率矩阵。可以看出，?转移概率矩阵的一个特点是其各行元素之和为１ 将上述数据序列保存到纯文本文件msdata.txt中，存放在Matlab程序文件所在目录下。见ex1.m 练习 在英国，工党成员的第二代加入工党的概率为0.5，加入保守党的概率为0.4，加入自由党的概率为0.1。而保守党成员的第二代加入保守党的概率为0.7，加入工党的概率为0.2，加入自由党的概率为0.1。而自由党成员的第二代加入保守党的概率为0.2，加入工党的概率为0.4，加入自由党的概率为0.4。求自由党成员的第三代加入工党的概率是多少？在经过较长的时间后，各党成员的后代加入各党派的概率分布是否具有稳定性？ Matlab程序见ex3.m 或者利用求转移矩阵P的转置矩阵的特征值1对应的特征概率向量，求得极限概率。Matlab程序见ex4.m 马尔科夫决策方法实例 例:设某地区有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户。假定在10月末经过市场调查得知，甲、乙、丙三家企业拥有的用户分别是：250，300，450户，而11月份用户可能的流动情况如下： 现要求我们根据这些市场调查资料预测11、12两个月三家企业市场用户各自的拥有量。 410 10 30 30 250 20 250 300 450 10 10 230 甲 乙 丙 合计 丙 乙 甲 到 从 步骤： 根据调查资料，确定初始状态概率向量为： 根据市场调查情况，确定一次转移概率矩阵为： 步骤 利用马尔柯夫预测模型进行预测，11月份三个企业市场占有率为： 所以11月份三个企业市场用户拥有量分别为： 甲：1000×0.28 = 280 户 乙：1000×0.27 = 270 户 丙：1000×0.45 = 450 户 若12月份用户的流动情况与11月份相同，即转移概率矩阵不变，则12月份三个企业市场占有率为： 12月份三个企业市场用户拥有量分别为： 甲：1000×0.306 = 306 户 乙：1000×0.246 = 246 户 丙：1000×0.448 = 448 户 稳定状态概率为： * Markov原名A.A. Markov（俄，1856－1922） 于1906年开始研究此类问题. 1 马尔可夫链的定义 引例假定某大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。根据本月（12月）调查，有3000人使用黑妹牙膏，7000人使用中华牙膏。又据调查,使用黑妹牙膏的3000人中，有60％的人下月将继续使用黑妹牙膏，??40％的人将改用中华牙膏；?使用中华牙膏的7000人中，?有70％的人下月将继续使用中华牙膏，??30％的人将改用黑妹牙膏。据此，可以得到如表所示的统计表 70％ 30％ 中华牙膏 40％ 60％ 黑妹牙膏 现用 中华牙膏 黑妹牙膏 拟用 基本概念 状态和状态转移 状态是指客观事物可能出现或存在的状况。 如企业的产品在市场上可能畅销，也可能滞销。 状态转移是指客观事物由一种状态到另一种状态的变化。 客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。 转移概率与转移概率矩阵 假定某大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。根据本月（12月）调查，有3000人使用黑妹牙膏，7000人使用中华牙膏。又据调查,使用黑妹牙膏的3000人中，有60％的人下月将继续使用黑妹牙膏，??40％的人将改用中华牙膏；?使用中华牙膏的7000人中，?有70％的人下月将继续使用中华牙膏，??30％的人将改用黑妹牙膏。据此，可以得到如表所示的统计表 70％ 30％ 中华牙膏 40％ 60％ 黑妹牙膏 现用 中华牙膏 黑妹牙膏 拟用 2 转移概率矩阵及柯尔莫哥洛夫定理 （1）转移概率矩阵中的元素是根据近期市场 或顾客的保留与得失流向资料确定的。 （2）下一期的概率只与上一期的预测结果有 关，不取决于更早期的概率。 （3）利用转移概率矩阵进行决策，其最后结 果取决于转移矩阵的组成，不取决于原 始条件，即最