信息论与编码第三章1.ppt

马尔可夫信源的熵 信源发出的符号只与前面的m个符号有关，而与更前面出现的符号无关，即： 这表明m阶马尔可夫信源的极限熵H?就等于m阶条件熵，记为Hm+1 。 对于齐次、遍历的马尔可夫链，其状态si由 惟一确定，因此有 可以推导出 其中p(si)(i=1,2,…,nm)是m阶马尔可夫链的稳态分布。熵函数 表示信源处于某一状态si时发出一个消息符号的平均不确定性，即有 在以上的分析中看到，正是利用了m阶马尔可夫信源“有限记忆长度”，才使无限大参数L变为有限值m，把求极限熵的问题变成了一个求m阶条件熵的问题。 【例】某二元2阶马尔可夫信源，原始信源X的符号集为 ，其状态空间共有 个不同的状态，即 ，其状态转移概率图如下， 由上图可知，当信源处于状态00=s1时,其后发生符号0的概率是0.8,即 , 状态仍停留在s1,即 。当信源仍处于状态s1，而发出的符号为1时，状态转移至01=s2，故一步转移概率 。当信源处于状态01=s2时，其一步转移概率为， 。 同理，当信源处于状态10=s3时， 当信源处于状态11=s4时 可求出稳定状态下的p(si)，称为稳态分布。 将一步转移概率代入得： 解得 H2=3.32(比特/符号)、 H3=3.1(比特/符号) 有依赖关系的字母越多，即马尔可夫信源的阶数越高，输出的序列越接近于实际情况。当依赖关系延伸到无穷时，信源输出就是真正的英语。此时：H? =1.4(比特/符号) 对一般平稳离散信源来说， H?就是实际信源熵。但实际上确定H?非常困难，只好用来Hm代替。表现在传输手段上必然是富余。 由于各个符号出现的概率不均匀：H1＜H0 随着序列增长，字母间的相关性越来越强：H?＜…＜H3＜H2 正是因为信源符号中存在的这些统计不均匀性和相关性，才使得信源存在冗余度。 当英文字母的结构信息已预先充分获得时，可用合理符号来表达英语，例如传送或存储这些符号，可大量压缩，100页的英语，大约只要29页就可以了。 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加人某些特殊的冗余度，即所谓信道编码，以达到通信系统理想的传输有效性和可靠性。 举例：英文26个字母加空格共27个符号，假如完全等概，则得英文的最大熵为 Hmax = log227 ? 4.76 比特/字母 而根据表，可计算这27个符号的实际熵为 H1 = –0.1817lb20.1817– 0.1073lb20.1073 – … – 0.00063lb20.00063 ? 4.03 比特/字母 为了进一步逼近实际情况，可把英语信源近似地看做1阶，2阶，…马尔可夫信源，求得相应的熵 3.4.3 极限熵 离散平稳信源一般是指有记忆信源，即发出的各个符号之间具有统计关联关系的一类信源。对于一般的平稳有记忆信源，输出符号之间的相互依存关系不仅存在于相邻两个符号之间，而且存在于更多符号之间。下面讨论 长离散平稳信源序列的熵。 利用詹森不等式可以证明： 信源输出为N长符号序列，平均每个符号的熵（所提供的信息量）为 我们称 为平均符号熵 定理3.2 设二维平稳信源 的条件熵为 ， 平均符号熵为 ，离散无记忆信源熵为 ,则此三者满足： 对于一般的离散平稳信源，相互依赖关系存在于更多的符号之间，理论上符号相关长度可至无穷远。 信源输出为N长符号序列,当 时，平均符号熵