第5章-无失真编码2.pptVIP

无失真信源编码;无失真信源编码;§5.1无失真编码器－1;§5.1无失真编码器－2;§5.1无失真编码器－3;§5.2分组码(几个码类的概念);§5.2分组码(几个码类的概念);§5.2分组码(几个码类的概念);§5.2分组码(几个码类的概念);§5.2分组码(几个码类的概念)例3：;定长编码定理 描述 证明 物理意义 实际应用中的问题;§5.3定长编码定理－2-描述;§ 5.3定长编码定理－2-进一步理解;例1：英文电报有32个符号（26＋6），即q=32， 若r=2，N＝1（即对信源的逐个符号进行二元编码）， 则： 解释：每个英文电报符号至少需要用5位二元符号编码 问题：第三章：在考虑符号出现的概率和符号间相关性前提下,每个英文符 号平均携带的信息量是1.4bit/符号（ ），5bit/符号， 等长编码效率极低，如何提高效率？如何体现有效性？;解决方法： 考察：字母个数为n，字母出现非等概，且字母之间相关长度为L的英文信源，其可能的字母序列总数为 ；但其中大部分字母序列是无意义的字母组合，而且随着N的增加，这种无意义序列的总数越来越大。 方法：进行联合编码，即对字母序列编码，且只对哪些有意义的字母序列编码，即需编码的字母序列的总数 ,则平均每个信源符号所需的码符号个数可以大大减少，从而提高了传输效率。 问题：会引入一定的误差，当N足够长后，误差可以任意小。;§ 5.3定长编码定理－3－证明;§ 5.3定长编码定理－4－ AEP物理意义;§ 5.3定长编码定理－5 － AEP证明;AEP结论：当L足够大时， 所有 典型序列出现的概率近似相等，即 典型序列为渐进等概序列 可粗略认为 典型序列出现的概率为 所有 典型序列的概率和接近为1，即 AEP应用： 提出、证明都是基于离散无记忆序列信源 平稳遍历信源有类似结果 体现信源统计特性 用以证明定长编码定理 ;§ 5.3定长编码定理－5 － 证明;§ 5.3定长编码定理－6（物理意义）;§ 5.3定长编码定理－7（实际应用问题）;§ 5.3定长编码定理－8（举例);§5.4变长信源编码;§ 5.4变长信源编码-1(Kraft定理);§ 5.4变长信源编码-2(Kraft定理引出);码树－－变长码的树图表示;§ 5.4???长信源编码-3(Kraft定理);§ 5.4变长信源编码-4(Kraft定理);§ 5.4变长信源编码-5(唯一可译码定理);§ 5.4变长编码定理－6;§ 5.4变长编码定理－7;§ 5.4变长编码定理－8;§ 5.4变长编码定理－9－编码效率;比较： 定长编码的编码效率： 变长编码的编码效率： 注意到： 是指每个信源符号所需的平均码长，而 也是平均到每个信源符号的码长，所以它们是一致的，均表示无失真信源编码的效率。;例4：p160例4.4 一离散无记忆信源;构造一个扩展信源S2的前缀码：;定长编码与变长编码效率比较：;§5.5实用的无失真信源编码方法举例－1（huffman编码）;§5.5实用的无失真信源编码方法举例－2（huffman编码）;§ 5.5实用的无失真信源编码方法举例－3（huffman编码）;§ 5.5实用的无失真信源编码方法举例－4（huffman编码）;§ 5.5实用的无失真信源编码方法举例－5（huffman编码）;§ 5.5实用的无失真信源编码方法举例－6（huffman编码）