第3章_离散信源案例分析.ppt

* 3.5 平稳离散信源及其性质 * 一般离散平稳有记忆信源每发一个符号所提供的平均信息量，等于其极限熵H∞。 要计算H∞，必须测定信源无穷阶联合概率和条件概率分布，即当作无限记忆长度来处理，这通常比较困难。 但当K不很大时（如马尔可夫信源），其平均符号熵HK(X) 或条件熵H (XK /X1X2…XK–1) 就非常接近于H∞，故可用条件熵或平均符号熵来作为极限熵的近似值。 3.5 平稳离散信源及其性质 * 离散信源是信息论中研究各种信源的基础 本身亦成为使用最为普遍的信源 讨论了离散信源的一些共性的问题。 离散信源的分类及其描述 无记忆和有记忆、单符号消息和符号序列消息、马尔可夫信源等常用离散信源信息特性的数学模型及它们的熵 信源冗余度的概念 信源符号序列分组定理 平稳离散信源 本章小结 * 习题 * 习题 * 习题 * 习题 * 习题 * 冗余度又称为多余度，是编码理论中的一个重要的概念。 在信源编码中，人们总是在寻找压缩信源冗余度的方法来提高传输的有效性； 在信道编码中，人们又总是采取注入冗余度的方法来提高传输的可靠性。 信源中存在着冗余度，冗余度可以用信源的熵值来表征，为此有如下的定义。 3.3 信源的冗余度 3.3.2　信源的冗余度 * 定义3.10 设信源实际的熵为H，该种信源可能的最大熵为Hmax，则 为信源的冗余度。 信源的冗余度实际上就是信源在发出消息时“无用信息量”所占的百分比。 3.3 信源的冗余度 3.3.2　信源的冗余度 * 举例 英文26个字母加空格共27个符号，假如完全等概，则得英文的最大熵为 Hmax = lb27 ? 4.755 比特/字母 而根据表3.1，可计算这27个符号的实际熵为 H = –0.1817lb20.1817– 0.1073lb20.1073 – … – 0.00063lb20.00063 ? 1 比特/字母 因此，该种信源的冗余度为 ＝(4.755–1)/4.755 ? 79.0 % 3.3 信源的冗余度 3.3.2　信源的冗余度 * 不同的统计可以得到不同的实际熵。 英文的冗余度是很大的，因为语言本身有很多固定的约束，它对于信息传输是“多余” 。因此从信息传输的角度才把它定义为“冗余” 。 中文冗余度的统计比英文要复杂得多，中文的实际熵也比英文要难统计得多。 中文的最大熵是一个变量； 每一个单字都具有明确的意义，再由字组词，字词之间的相关性千变万化。 以《辞海》（上海，1989年版）收集的大约15000汉字为信源符号消息，则中文的最大信源熵为Hmax ? lb15000 ? 13.9 比特/汉字 3.3 信源的冗余度 3.3.2　信源的冗余度 * 尚未找到给出中文实际熵和统计方法的文献，但根据目前广泛使用的文本压缩软件的压缩率来看，中文的实际熵应该不会大于5比特/汉字，估计中文的冗余度大约也会在80%左右。 3.3 信源的冗余度 3.3.2　信源的冗余度 * 举例说明 　图3.3给出了目前常用的几种语音编码的速率，假设图中三种编码方法PCM、ADPCM和Vocoder代表三个信源，分别称为信源A、B、C，其输出的码流均为二进制数字信号，码速率如图所示，若各种编码均没有造成语音信息的损失，而信源C输出的码流已基本达到1、0等概和完全随机，试求图中三个信源的冗余度。 图3.3 语音编码的几种速率 3.3 信源的冗余度 3.3.2　信源的冗余度 * 图中给出的码速率就是各信源的时间熵，因此使用式(3.35)时均用时间熵。 可认为三个信源的实际熵都是8 kb/s，而三个信源的最大熵就是它们输出码序列的速率，即64 kb/s, 32 kb/s, 8 kb/s 信源A冗余度为　　RA = (64 – 8 )/64 = 87.5% 信源B冗余度为　　RB = (32 – 8)/32 = 75% 信源C冗余度为　　RC = (8 – 8)/8 = 0 即信源C没有冗余，这是由于假设信源C的输出已是该信源最大熵。 目前的语音编码器还做不到本例的假设条件，例如信源C中仍有冗余度，因此各信源实际的冗余度可能更大。 低速率的编码通常会带来语音信息的损失，且速率越低损失越大，但这对于理解语音信息的冗余度没有影响。 3.3 信源的冗余度 3.3.2　信源的冗余度 * 初始信源的冗余度通常是很大的，这为信源的压缩编码提供了可能 压缩编码的目标就是寻找某种编码方法，使得编码后消息序列中的冗余度趋近于0 如果将这种编码包含在信源中，也可以说是寻找某种能够使信源冗余度趋近于0的编码方法 冗余度成为衡量信源编码效率的一个物理量，冗余度越低，编码效率就越高。 3.3 信源的冗余度 3.3.2　信源的冗余度