第一章-马氏过程_泊松过程_讲稿..doc

随机过程 离散时间随机过程 连续型随机过程?采样 ?称为随机变量序列 也记作或，简记为或。 称为离散时间随机过程。 在时刻的取值是一个随机变量，其概率分布就是离散时间随机过程的一维分布。 在时刻的取值的联合分布，就是离散时间随机过程的二维分布。 以此类推，在个时刻的取值的联合分布，就是离散时间随机过程的维分布。 若经过某时间平移后，其任意维分布保持不变： 则称该离散时间随机过程为严平稳的。 均值 均方值 相关函数 宽平稳的定义 遍历性 （对应连续随机过程的时间平均 ） 时间均值 时间相关函数 定义： 若宽平稳随机序列的 时间均值依概率1等于其统计均值， 时间相关函数依概率1等于其统计相关函数 则称其为宽遍历的。 宽平稳随机序列相关函数的性质：与连续随机过程的类似，自己看书。  马尔可夫过程的概念 当随机过程在时刻所处的状态为已知的条件下，过程在时刻所处的状态，与过程在时刻以前所处的状态无关，而仅与过程在时刻的状态有关，则称该过程为马尔可夫过程。 这种特性称为随机过程的“无后效性”或马尔可夫性。  根据时间Ｔ和状态Ｅ的取值，马尔可夫过程分为四类： 时间集Ｔ 状态集Ｅ 分类 连续 连续 马尔可夫过程 连续 离散 可列马尔可夫过程 离散 连续 马尔可夫序列 离散 离散 马尔可夫链 状态可列的马尔可夫链称为可列马尔可夫链； 状态有限的马尔可夫链称为有限马尔可夫链。 规定一随机变量序列，可把此序列看作 连续型随机过程?采样?称为随机变量序列 也记作或，简记为或。 状态连续 定义：若对于任意的，有 （1） 写成概率形式 即，如果在条件下的条件分布，等于仅在条件下的条件分布，则称此随机变量序列为马尔可夫序列。这一分布函数常称为转移分布。 概率论回顾：为在下的条件分布函数。 对于连续型随机变量，由（1）式可得 （2） 这样，有 （3） 即，的联合概率密度可由初始概率密度和转移概率密度 来确定。 相反地，若（3）式对所有皆成立，则序列是马尔可夫序列，这是因为 6马尔可夫链 1.6.1 马尔可夫链的基本概念 1．马尔可夫链的定义 时间离散、状态离散 定义34：设为一随机变量序列，其状态空间，若对于任意的，满足 则称该序列为马尔可夫链（简称马氏链）。 含义： 此序列可看作是对随机过程的采样， 所可能取的状态为之一， 而且只在时刻发生状态转移。 过程在时刻变成状态的概率，只与时刻的状态有关， 而与以前时刻的状态无关。 2．马尔可夫链的转移概率及性质 对于马氏链，描述它的概率性质最重要的是它在时刻的转移概率。 通常，我们用 表示在时刻出现的条件下, 时刻出现的条件概率。 一般而言，不仅与有关，而且与有关。 若与无关，则称该马氏链为齐次马氏链，此时可表示为。 下面仅对齐次马氏链进行讨论。 一步转移概率 在齐次条件下，时，有 （马氏链由状态经一步转移到的概率） 此即一步转移概率。由所有一步转移概率构成的矩阵 称为一步转移概率矩阵，简称转移概率矩阵。这一矩阵给出了随机变量序列状态转移的概率特性。 转移概率矩阵的性质： （1） == 由于是条件概率，所以由概率的性质可知上式成立。 （2） == 注意：是必然事件S。对必然事件S，有。 只有两两互不相交事件才有。易知 表明：马氏链时从状态出发，而下一步必然到达中状态之一。对应于转移概率矩阵，可知转移概率矩阵的每一行的元素之和为1。 步转移概率 之前给出了时刻的转移概率： 在齐次条件下，时，可得到步转移概率 表示马氏链由状态经过步转移到的概率。 由所有步转移概率可构成步转移概率矩阵 步转移概率类似于一步转移概率具有下列性质： （1）； （2） 证明类似于一步转移概率的证明方法。 为了数学处理便利，通常规定 切普曼-柯尔莫哥洛夫方程（C-K方程） 对于步转移概率，有如下的C-K方程的离散形式 表明：由于马氏链的无后效性和齐次性，该链从状态经过步转移到的概率可等效为： 先由状态经过步到达中间状态，再由状态经过步到达状态的概率和。 证明： 注意：是必然事件 若S是必然事件， 则有； 只有两两互不相交事件才有  由概率的乘法定理公式 知 ，可得 证毕。 若用概率矩阵表示，有： 当时，有： 同理，当时，有： 即，任意步转移概率矩阵可由一步转移概率矩阵自乘次来得到。 例1-15 在某数字通信系