随机过程9-10.ppt

第十章 随机过程的基本概念 随机过程的基本概念 随机过程的有限维分布函数族 随机过程的数字特征 特殊的随机过程及性质 泊松过程和维纳过程 §10.1 基本概念 注：①T:参数集；t:参数（一般为时间，也可以是其余的参数）；Ω:样本空间。故随机过程{X(t),t∈T}由t和ω决定。 ②T可以是离散、可列地取值，如T={1,2,…}，称为具有离散参数的随机过程（随机序列）；T也可以是某一有限区间或无限区间，如T＝[a,b]，T=[0,+∞)，称为具有连续参数的随机过程。 ③参数t固定为t0，则X(ω,t0)为一随机变量，称为过程在t0时刻的状态；故随t变化的随机变量的集合族即为一随机过程。 固定t0∈T，I={X(ω0,t0)| 任意ω0 ∈Ω}称为状态空间（所有状态的集合）；根据X(ω,t0)离散（连续），I称为离散（连续）状态空间。 ④固定ω0 ,{X(ω0 ,t),t∈T}是t普通的函数，称为随机过程对应于试验结果ω0的一个样本函数（一个现实，一个轨迹）。 所有的轨迹放在一起即为随机过程，这种定义在理论上比较有用；但在实际的认识中我们是在每个时刻t去认识随机过程，故用统计的方式处理。 §10.2 随机过程的有限维分布函数族 §10.3 随机过程的数字特征 注：①随机过程{X(t),t∈T}，t固定时X(t)即为随机变量，故概率论中求数字特征的方法，全部可以用来求随机过程中相应的数字特征（包括数字特征的性质）。 §10.4 特殊的随机过程 ⒈二阶矩过程：设{X(t),t∈T}为一随机过程，若任意t∈T,二阶矩存在，即EX2(t)+∞，则称{X(t),t∈T}为二阶矩过程。 ⒍独立增量过程的性质： 定理1：设{X(t),t≥0}是一个独立增量过程， 在P(X(0)=0)=1的条件下，X(t)的任意有限维分布函数族可以由增量X(t)-X(s) (0st)的分布来唯一确定。 §10.5 泊松过程和维纳过程 性质： 二、泊松过程 1.概念 2.性质（有限维分布及数字特征） 3.间隔时间的分布 4.泊松过程与其它分布的关系 第十一章 马尔可夫链 马尔可夫链的概念和转移概率矩阵 齐次马尔可夫链的有限维分布 多步转移概率的确定 齐次马尔可夫链的遍历性 §11.1 马尔可夫链的基本概念 注：1.马尔可夫性的意义：未来的分布只与现在时刻有关，与历史无关。 3.状态空间不失一般性，可假定为I={0,1,2,…} 此时，{Xn=i}表示：马尔可夫链“第n步（n时刻）处于第i个状态”或称为“第n步有值i”。 定义2：设{Xn,n≥0}是一马尔可夫链，称pij(m,m+n)=P(Xm+n=j|Xm=i)为马氏链{Xn,n≥0}的n步转移概率。(任意的i,j∈I) 定义3：设{Xn,n≥0}为一马尔可夫链，如果对所有的m≥0，n≥1，i, j∈I，有P(Xm+n=j|Xm=i)=P(Xn=j|X0=i)，则称该马尔可夫链是齐次的。 性质1、设{Xn,n≥0}是一马氏链，若对一切的n和i, j∈I，有P(Xn+1=j|Xn=i)=P(X1=j|X0=i)，则{Xn,n≥0}是齐次的马尔可夫链。 例1、甲袋中有k只白球，1只黑球；乙袋中有k+1只白球(k≥1)，现每隔单位时间从各袋中任取一球进行交换(Δt =1)，令 §11.2 齐次马尔可夫链的有限维分布 定义：设{Xn, n≥0}是一齐次马尔可夫链，其状态空间I={0,1,2,…}，对任意时刻n≥0，称离散型随机变量Xn的分布律P(Xn=j)=pj为齐次马尔可夫链{Xn, n≥0}的一维分布律，记为p(n)=( p0(n), p1(n), …, pj(n),…)；特别X0的分布律p(0)=( p0(0), p1(0), …, pj(0), …)称为初始分布。 定理1：设{Xn,n≥0}是齐次马尔可夫链，其初始分布为 p(0)=( p0(0), p1(0), …, pj(0), …) n步转移概率矩阵为P(n)＝( pij(n) )，则对任意的时刻n(n≥1),Xn的一维分布为 p(n)=p(0)P(n) 定理2：设{Xn,n≥0}是齐次马尔可夫链，其n步转移概率矩阵为P(n)＝(pij(n))，则对任意的时刻n1n2…nk(k≥2) 的联合分布律为： 例3、某房间中有2个灯泡，每天坏掉1个灯泡的概率为p(0p1)，一个也不坏的概率为q=1-p，令Xn表示第n天房间剩下的灯泡的个数，则{Xn, n≥1}为一齐次马尔可夫链, 求：(1)初始分布p(1)； (2)第3天房间里仍有2个灯泡的概率； (3)P(X3=2,X4=1,X5=0) §11.3 多步转移概率的确定 由§11.2可知，齐