第2章_离散信源及其信息测度-2015.ppt

* * * * * * * * * * * * * * * * * * * * * 2.7.2 m阶马尔可夫信源 对于m阶马尔可夫信源，状态的定义已经给出，状态转移图也可以很容易的画出 例：二元二阶马尔可夫信源，样本空间为(0,1)，条件概率为： 要求画出状态转移图。 掌握 * m阶马尔可夫信源 掌握 * 2.7.2 m阶马尔可夫信源－熵 非常重要。四个步骤： 画出状态转移图； 求状态极限概率(并可求出符号极限概率) 求在每个状态下，信源的信息熵； 求马尔可夫信源的熵 掌握 * m阶马尔可夫信源－熵 稳定的状态分布－状态极限概率 通过状态转移图求出 2.132 2.133 掌握 * 在上例中：求4元1次方程组 掌握 * m阶马尔可夫信源－熵 得到了状态极限概率之后，可以顺便求出符号极限概率 2.142 掌握 * m阶马尔可夫信源－熵 直接求马尔可夫信源的熵不易，先求在固定状态下马尔可夫信源的熵 在状态 时，发出 ， 构成了一个新的信源 ，概率空间为 掌握 * m阶马尔可夫信源－熵 求出在状态 下，马尔可夫信源的信息熵 2.137 掌握 * m阶马尔可夫信源－熵 马尔可夫信源的熵: 2.134 掌握 * m阶马尔可夫信源－熵 在上例中 掌握 * 例2.11 一个二元二阶马尔可夫信源，信源符号集A={0,1}。信源开始时，它以概率p(0)=p(1)=0.5发出随机变量X1。然后，下一单位时间输出的随机变量X2与X1有依赖关系，由条件概率p(x2|x1)表示： 再下一单元时间输出随机变量X3，而X3依赖于前面变量。依赖关系由条件概率p(x3|x1x2)表示： x1 x1 x2 0 1 0 0.3 0.4 1 0.7 0.6 掌握 * 由从第四单位时间开始，任意时刻信源发出的随机变量Xi只与前面二个单位时间的随机变量有关， 根据提议可得信源的状态转移图： x1x2 x1x2 x1x2 x1x2 X3 00 01 10 11 0 0.4 0.2 0.3 0.4 1 0.6 0.8 0.7 0.6 掌握 * 00 01 10 11 掌握 * 0.4 0.8 0.3 0.6 0.2 0.7 0.6 0.4 掌握 * 0.5 0.5 0.4 0.8 0.3 0.6 0.2 0.7 0.6 0.4 掌握 * 解得： 掌握 * 解得： 代入式（2.136） 得 ＝0.8956 当马尔可夫信源达到稳定后，符号0和1的分布概率可根据下式计算 因此得： 掌握 * m阶马尔可夫信源－熵 计算总结： 1、根据条件概率分布画出状态转移图 2、求信源的状态极限概率，用 元1次方程组 3、求在各固定状态下信源的熵，共有 个熵需要求。 4、求各特定状态下信源熵的数学期望即均值，得到马尔可夫信源的熵 掌握 * 习题1 求马尔可夫信源的信源熵，已知 二元一阶马尔可夫信源 共有 个状态， 分别为 掌握 * 例题 状态转移图如下 掌握 * 习题1 各确定状态下的信源熵 马尔可夫信源熵 掌握 * 习题2 掌握 * 掌握 * 掌握 * 习题说明 掌握 掌握的习题有： 2.1 2.5 2.12 2.13 2.14 2.17 2.20 2.21 2.22 2.23 * 作业 掌握 掌握的习题有： 2.5 2.13 2.14 2.17 * * * * * * 几个关系的证明: 理解 (2)熵的不增原理(条件熵不大于信息熵) 理解 2.6 离散平稳信源 [例2-7] 某一离散二维平稳信源 其发出的符号只与前一个符号有关，即可用联合概率P(aiaj)给出它们的关联程度，如下表所示: P(aiaj) aj ai 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 求信源熵H(X)、条件熵H(X2|X1)和联合熵H(X1X2)。 掌握 2.5 离散平稳信源 解：根据概率关系可计算得条件概率P(aj|ai),计算结果列表如下： aj ai 0 1 2 0 1/4 1/18 0 1 1/1