马尔可夫链完整版本.pptVIP

马尔可夫链基本概念一、基本概念1.随机过程1.随机过程2.马尔可夫链(Markovchain)建立随机过程模型，首先要确定状态空间、参数集例：关于这一过程，我们想知道：3.转移图(一步)4.转移概率矩阵P称为一步转移矩阵特点：一般，若有N个状态，则一步转移矩阵为而过程n时刻处于状态i下一时刻转移到状态j的一步转移概率例：5.两步转移矩阵例：对三个状态的马氏链,已知P,求由全概率公式:一般6.k步转移矩阵读懂k步转移矩阵(2)未知X0的确切值,但知的X0分布(初始分布),则

可求:即:练一练解：方法一方法二7.稳态概率一般,若转移概率若某马氏链具有稳态分布,如何求?(1)求这代表了同一方程的许多重复，取第一行例：求所给例的稳态概率.对于医生例问题,看看能回答哪些?二、应用举例1.在流行病监测中的应用步长：一年由表1可得各状态的转移频率即状态转移概率的估计值，从而得模型的一步转移概率矩阵：计算多步转移矩阵计算极限2.市场占有率预测（2）查清使用对象的流动情况．第二步建立数学模型第三步进行预测可求出唯一解:n0123?a2(n)00.180.1890.1835?a3(n)00.020.0540.0880?a1(n)10.80.7570.7285?设投保时处于健康状态，预测a(n),n=1,2…不论初始状态如何，最终都要转到状态3；一旦a1(k)=a2(k)=0,a3(k)=1,则对于nk,a1(n)=0，a2(n)=0,a3(n)=1,即从状态3不会转移到其它状态。状态与状态转移001?50?0.1293?0.0326?0.8381?Markov模型是用于描述时间和状态都是离散的随机过程的数学模型．应用其理论和方法，可以对疾病发病情况随时间序列的变化规律进行分析和研究，预测疾病的发展变化趋势，为预防和控制疾病提供依据．统计了某市1980年至1995年肾综合征出血热（HFRS）的发病率分别为(单位：1/10万)：2.95、6.28、10.28、7.01、7.36、13.78、33.93、35.87、33.40、28.38、30.50、33.79、39.70、30.39、39.70、33.59（引自：李洪杰等.龙泉市肾综合征出血热发病趋势的预测.浙江预防医学,1997,02：44）．现在来建模预测．统计各数据的状态归属及各状态出现的频率（初始概率），得下面的表：状态：根据资料将发病率划分为四个状态表2各状态取值范围及初始概率状态发病率取值范围初始概率1X≤104/16210＜X≤202/16320＜X≤301/164X＞309/16年份发病率(1/10万)状态年份发病率(1/10万)状态19802.951198833.40419816.281198928.383198210.282199030.50419837.011199133.79419847.361199239.704198513.782199330.394198633.934199439.704198735.874199533.594表1某市HFRS流行状况(转移概率估算的方法通常有两种：一是主观概率法．二是统计估算法.)可认为HFRS下一年的发病率只与当年发病率有关，而与过去的发病率无关，且任意时期的一步转移概率矩阵不变，从而满足无后效性和平稳性的假设，因而可用初始分布为（4/16，2/16，1/16，9/16），转移概率矩阵为P的马氏链模型来预测HFRS发病率未来的情况．或解方程得模型的极限概率分布(稳态分布)：(0，0，1/9，8/9)分析预测：由于95年处于状态4，比较P的第4行的四个数字知，p44=0.875最大，所以预测96年仍处于状态4，即发病率大于30/10万．同样，从二、三、四步转移矩阵知，依然是状态4转入状态4的概率最大，所以预测1996年至1999年该市的HFRS发病率将持续在大于30/10万（高发区）水平，这提醒我们应该对