北大随机过程课件：第-3-章-第-2-讲-马尔可夫过程.pdfVIP

马尔可夫过程

1马尔可夫过程概论

1.1马尔可夫过程处于某个状态的概率

1.2马尔可夫过程的状态转移概率

1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程

切普曼-柯尔莫哥洛夫方程

齐次切普曼-柯尔莫哥洛夫方程

转移概率分布函数、转移概率密度函数

1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数

瞬时转移概率分布函数

1.5确定马尔可夫过程Q矩阵

跳跃强度、转移概率Q矩阵

2参数连续状态离散马尔可夫过程的前进方程和后退方程

柯尔莫哥洛夫-费勒前进方程（利用Q矩阵可以导出、转移概率的微分方程）

福克-普朗克方程（状态概率的微分方程）

柯尔莫哥洛夫-费勒后退方程（利用Q矩阵可以导出、转移概率的微分方程）

3典型例题

排队问题、机器维修问题、随机游动问题的分析方法

4马尔可夫过程的渐进特性

稳态分布存在的条件和性质

稳态分布求解

5马尔可夫过程的研究

1概论

1.1定义及性质

1.2状态转移概率

1.3齐次马尔可夫过程的状态转移概率

1.5跳跃强度、转移概率Q矩阵

2前进方程和后退方程

2.1切普曼-柯尔莫哥洛夫方程

2.2柯尔莫哥洛夫-费勒前进方程

2.2福克-普朗克方程

2.3柯尔莫哥洛夫-费勒后退方程

3典型的马尔可夫过程举例

例1

例2

例3

例4，随机游动

4马尔可夫过程的渐进特性

4.1引理1

4.2定理2

4.3定理

5马尔可夫过程的研究

6关于负指数分布的补充说明：

1概论

1.1定义：马尔可夫过程

ξ(t)：

参数域为T，连续参数域。以下分析中假定T[0,∞)；

状态空间为I，离散状态。以下分析中取I{0,1,2,}；

对于t1t2tmtm+1∈T，若在ttt∈T这些时刻观察到随机过程

12m

的值是i,i,i，则tt∈T时刻的条件概率满足:

12mm+1m

Pξ(t)j/ξ(t)i,,ξ(t)iPξ(t)j/ξ(t)i,j∈I

{m+111mm}{m+1mm}

则称这类随机过程为具有马尔可夫性质的随机过程或马尔可夫过程。

1.2定义：齐次马尔可夫过程

对于马尔可夫过程ξ(t)，如果转移概率Pξ(t)j/ξ(t)i只是时间差τt−t的

{21}21

函数,这类马尔可夫过程称为齐次马尔可夫过程。

1.３性质

马尔可夫过程具有过程的无后效性；

参数连续状态离散的马尔可夫过程的条件转移概率为：

′=≤≤′≤∈

Pξ(t)j/ξ(t)0ttPξ(t)j/ξ(t)itt,i,jI

{21}{21}12

马尔可夫过程的有限维联合分布律可以用转移概率来表示

Pξ(t)k,ξ(t)j,ξ(t)i

{321}