称主对称线元素为零的矩阵为嵌入链.PPT

由一步转移矩阵知： ∴ 若q，则得 若 ， 则得 （j = 1,2,3） 例5 验证转移概率矩阵 的马氏链，其遍历性是否成立。 解 由于 ∴ 显然， 中的元素不满足 ， ∴ 该马链遍历性不成立。 习题 1. 设岩性这个随机变量只能取砂岩（用代表）、灰岩（用代表）两种状态，对于某地层剖面观测记录的一次实现为 ，试写出它的转移概率矩阵。 2. 设有四个状态 的马氏链，它的一步转移概率矩阵为 试画出其状态传递图。 3. 设有一马尔可夫链，其转移状态有两种： 、 经计算得一阶转移概率矩阵为 求证该链具有遍历性，并求出极限分布。 4. 设有四个状态的马氏链，它的一步转移概率矩阵为 试画出它的状态传递图。 第五章 马尔可夫过程 §5.1 马尔可夫过程定义 对于一个随机过程，如果它具有以下特性：即当过程在现在时刻 所处的状态为已知的条件下，过程在将来时刻 处的状态，只与过程在 时刻的状态有关，而与过程在 时刻以前所处的状态无关，则具具有此种特性的随机过程称为马尔可夫过程。上述随机过程所具有的特性又称为无后效应。 无后效应也理解为：过程 在现在时刻 的状态， 已知的条件下，过程“将来”的情况与“过去”的情况是无关的。或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。 或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。 严格定义如下： 严格定义如下： 定义马尔可夫过程：考虑随机过程 ，并设 ，如果它的条件概率密度函数满足 则称为 为马尔可夫过程。 定义表明，的概率密度函数只取决于的状态，而与前个状态无关。也就是“现在”的状态才对“将来”的状态有影响，而“过去”的状态对“将来”没有影响。 由马尔要夫定义再根据条件密度函数公式，可写出马乐可夫过程的联合概率密度。 ∵ 由上式要知，马尔可夫过程的联合概率密度函数等于各个转移概率密度和初始概率密度的乘积。 一般地，马尔可夫过程按照其状态和时间参数是连续还是离散，常划分成以下三个讨论和研究。 ①时间离散、状态离散的马尔可夫过程，常被称为马尔可夫链； ②时间连续、状态离散的马尔可夫过程； ③时间和状态都连续的马尔可夫过程。 本章重点介绍马尔可夫链。 §5.2 马尔可夫链及其转移概率 设有一质点P，它在状态 上随机地运动，每隔一个单位时间改变一次状态。如果我们把“质点P在时刻t所处的状态 ”这一随机事件记为 那么当上述质点P的运动过程具有下述性质。 时，则称系统状态为一个马尔可失过程，特别地，如果时章离散的 ，状态也是离散的（）。 此时系统状态 称为一个马尔可夫链，简称马氏链。马氏链中状态数目可以是有限工无限。 例如，一个柱状图，如果第层岩性只与第n层岩性有关，而与更早的岩层无关，则此岩性系列构成一个马氏链。 由上可知马尔可夫链实际上是当马尔可夫过程时间离散、状态离散的一个特殊过程。因此，马尔可夫链同样具有马氏过程的重要特性“无后效益”。所谓无后效应对于马氏链来说就是已知现在质点所处的状态条件下，将来质点所处的状态，只与现在质点所处状态有关，而与质点过去所处的状态无关。 可以理解秋，这个过程的历史对未来的全部影响集中在最时刻的状态中，即认为系统的任何观测结果只和紧接前面的观测结果有关。 马尔可夫链是一个时间离散、状态离散的时间序列，它的特点是具有无后效应，序列中它在某一时