信息论与编码第2章..ppt

* * 离散平稳信源的序列熵 离散平稳信源 设信源输出的随机序列为 X =(X1X2…Xl…XL) 序列中的变量Xl∈{x1,x2,… xn} 一般是指有记忆信源，即发出的各个符号之间具有统计关联关系的一类信源，（1）联合概率 （2）条件概率 对于平稳信源来说，其条件概率与时间起点无关，只与关联长度N有关。它表示平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。如果某时刻发出什么符号与前面发出的N个符号有关，那么任何时刻它们的依赖关系都是一样的。 * * 二维离散平稳信源 （1）后一个符号只与前一个符号有关联； （2）不随时间推移而变化； （3）并假设组与组之间是统计独立； 假设 则矢量 取 概率分布 概率空间 * * 离散平稳信源的序列熵 根据信息熵的定义，得： 联合熵H(X1X2) 表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性（或所含有的信息量）。 * * 条件熵： （1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性： （2）前面一个符号Xl又可取ai?{a1，a2，…，aq}中任一个，对某一个ai存在一个平均不确定性H(X2/X1＝ai)，那么对所有ai的可能值进行统计平均就得当前面一个符号巳知时，再输出下一个符号的总的平均不确定性H(X2/X1) ： * * 根据概率关系，可以得到联合熵与条件熵的关系： * * 离散平稳信源的序列熵 当前后符号无依存关系时,有下列推论： 两个有相互依赖关系的随机变量X1和X2和所组成的随机矢量X= X1X2的联合熵H(X)，等于第一个随机变量的熵H(X1)与第一个随机变量已知的前提下，第二个随机变量的条件熵H(X2/X1)之和。 * * a0 a1 a2 a0 9/11 2/11 0 a1 1/8 3/4 1/8 a2 0 2/9 7/9 例已知离散有记忆信源中各符号的概率空间为: 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表 p(aj|ai) 求离散信源的序列熵和平均每个符号的熵? * * 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 a0 a1 a2 a0 1/4 1/18 0 a1 1/18 1/3 1/18 a2 0 1/18 7/36 当信源符号之间无依赖性时,信源X的信息熵为 当考虑符号之间有依赖性时,计算得条件熵 H(X2| X1)＜H(X) 信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。 * * 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 符号之间存在关联性 发二重符号序列的熵 比较 * * 若信源输出一个L长序列,则信源的序列熵为 平均每个符号的熵为： 若当信源退化为无记忆时: 若进一步又满足平稳性时 * * 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 * * ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷ H∞称为平稳信源的极限熵或极限信息量 H0(X)≥H1(X)≥H2(X)≥…≥H∞(X) ⑵ L给定时,平均符号熵≥条件熵： H L(X)≥H (XL|XL-1) 等概率无记忆信源单个符号的熵 不等概率无记忆信源单个符号的熵 两个符号组成的序列平均符号熵 * * 马尔可夫信源的信息熵 马尔可夫信源 齐次、遍历的马尔可夫信源的熵 * * s2 s3 1/0.6 1/0.2 0/0.5 s1 1/0.5 1/0.1 0/0.9 例三状态马尔可夫信源 0/0.8 * * * * 作业： * * * * * 数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 * * 一般通信系统 编码 信道 译码 U X U Y V 根据信息不增性原理有： I(U;V) I(X;V) , I(X;V) I(X;Y) 所以： I(U;V) I(X;Y) 经过编码或译码处理后，信息不可能增加，只会减少。 应用