第八讲马尔夫链.ppt

马尔柯夫过程及其在经济中的应用 第一节、随机过程及马尔柯夫链的概念 1.什么是随机过程 自然、社会和经济中的随机现象，可由一个或多个随机变量来描述，这是我们都已知道的（概率和数理统计），在实际中还需要研究有些随机现象随时间的变化规律性。随机过程的数学理论就是适应这一客观需要而产生的。 例1以ξ(t)表示某一电话站在时间(0,T)中接到的呼叫次数，那么，对每一确定的t∈(0, ∞), ξ(t)是一个随机变数，当t在(0,T)中的取值不断增大时， ξ(t)就描述着呼叫次数随时间的变化过程，若以一天24小时间计，则ξ(t)就是时间从0到24呼叫次数的随机的变化规律。 例2 某商店一特定的商品在一月内每天的售货量ξ为一随机变量ξ(t)，如果t从1变化到30，则ξ(t)就是一月内此商品销售量的随机变化过程。 以上两例中，我们研究的是随时间t变化的一族随机变量。我们将这样的一族随机变量，称为随机过程记为{ξ(t)t ∈[0,T]} 马尔柯夫过程是随机过程中的一种，它研究的是这样的一类随机现象，现象在变化的过程中，处于某种状态的概率，只与它在这之前的状态有关，而与它在很远的过去处在什么状态无关。。二十世纪初1907年，俄国数学家马尔柯夫（A.A.Markov)研究了这类现象，并把这类现象归结为这样一种数学模式，现象在概率转换过程中， 第n次试验的结果，常决定于n-1次试验的结果。以后，人们在研究时，就把具有由前项推算出来的转移概率的随机变化过程，称为马尔柯夫过程；而把从整体上看到的一连串的转移过程称为马尔柯夫链。 2.转移概率矩阵 设一系统S有有限个互不相容的状态，A1，A2，An，每隔一个有限时间后状态就要变更一次，在时刻tk时（k=1,2,3 …)系统S处于状态Ai（I=1,2,3…n)在下一个时刻tk+1转而呈现出状态Aj(j=1,2,3 … n)的概率恒等于一个不依赖于S在时刻t1,t2,tk-1状态的非负常数pij,利用通常的条件概率写法，可记为： 这里的pij(j,j=1,2,3 … n)称为系统S的马尔柯夫链的一步转移概率。 由转移概率pij为元素构成的矩阵： 这个矩阵称为系统S的状态A1，A2，An的转移概率矩阵，也叫马尔柯夫链的转移矩阵。 转移概率矩阵P的建立是以对问题的观察和试验为基础为。 例3为了了解顾客对甲、乙、丙三种不同牌号的洗衣粉的购买倾向，我们结市志进行了调查。在本月购买乙、丙三种不同牌号的洗衣粉的顾客中，各找100人，分别了解他们下月的购买倾向情况如下： 此矩阵说明，在本月购买甲牌的100人中，有40人仍购买甲牌，30人转向购买乙牌，30人转向购买丙牌，在购买乙 牌的100人中，有60人转向购买甲牌，30人仍购买乙牌,10人转向购买丙牌，在购买丙牌的100人中，有60人转向购买甲牌，有10人转向购买乙牌，有30人仍购买丙牌。这个矩阵就叫某系统状态的转移频数矩阵。用转移频数矩阵的各行和分别除以各对应的频数，就得到转移概率矩阵 定义1：一方阵P（pij)中，如果各行之各元素为非负数，且各行元素总和为1，则此方阵为转移概率矩阵。 例4 判断下列矩阵是否是转移概率矩阵？ 3.转移概率矩阵的性质和正规转移概率矩阵 定理1 如果A和B皆为同阶的转移概率矩阵，则乘积AB亦为转移概率矩阵，当P为转移概率矩阵，m为有限时，pm亦为转移概率矩阵。 定义若一转移概率矩阵P的某次方Pm的所有元素皆为正(pij(m)0),则p为一正规转移概率矩阵。 例5 转移概率矩阵 是一正规转移概率矩阵。因为 而单位矩阵E不是正规转移概率矩阵，因为E的任意次方都是单位矩阵，都有0元素，故单位矩阵不是正规转移概率矩阵。 定义（固定向量）任一非零行向量U=（u1,u2, …,un)当乘以某方阵A后，若仍然固定为U，则称U为此方阵的固定向量，即有AU=U 例6 试证U=（2，-1）为 的固定向量。 证明：因为 引理：设P为一正规转移概率矩阵，则 （1）P恰有一个固定概率向量U，且U的所有元素皆为正。 （2）P的各次幂组成的序列P，P2，P3 … ，趋于方阵U，而方阵U的每一行均为固定概率向量u; 4.状态的多步转移与转移概率矩阵P的乘幂 （3）若V为任意一个行概率向量，则向量序列VP，VP2，VP3， …，趋于固定概率向量U 前面讨论了某系统S的转移概率矩阵的乘幂，P的乘幂 反映了系统S中状态多步转移的概率变化规律。马尔柯夫链的主要功能就在于计算自i状态开始经R步转移至j状态的概率。 例7 设 它满足条件 其含义为从状态C一步转移到状态A的概率可能性最大，从状态A一步转移到状态C可能性次之。问题是在从P中能否推出状态A经过两步转移成什么状态的可能性最大？又经过两步转移成什么状态的可能性最小？ 由卡普曼—柯尔莫哥洛夫方程（Chapman-Kolmo