第三章信源编码.1.ppt

第三章无失真信源编码 无失真编码概述 定长信源编码 变长信源编码 实用的无失真信源编码方法举例 §3.1无失真编码概述-1 通信中信息传输所要解决的基本问题是：有效性和可靠性 在不失真或允许一定失真条件下，如何用尽可能烧得符号来传送信源信息以提高信息传输率－－－信源编码 在信道受干扰情况下，如何增加信号的抗干扰能力同时又使得信息传输率最大——信道编码 §3.1无失真编码概述-2 离散、无失真、无记忆信源编码的一般模型： §3.1无失真编码概述-3 问题：能否进行无失真编码，怎样进行无失真编码 若：不考虑信源统计特性： 应满足条件： 相互矛盾！ §3.1无失真编码概述-4 考察无失真条件： 分别表示等概条件下的消息熵 与码字熵 之比， 考虑信源的实际统计特性（非等概），实际消息熵为： 代入无失真条件得： 此时：即使m=n,只要 就有可能实现KLL。 即无失真与有效性同时满足。 具体实现时：定长与变长编码 §3.2码的分类-1 §3.2码的分类-2 7.即时码 §3.3定长编码定理－1-描述 定长（等长）码信源编码定理： 对离散，无记忆、平稳、遍历信源其符号序列：X =(X1,X2 …..XL)， 可用KL个符号Y=(Y1,Y2….YkL) 进行等长编码，对任意ε0,δ0， 只要满足： (KL/L)log m≥HL(X)+ε 则：当L足够大时，可使译码差错小于δ， 反之，当 (KL/L)log m≤H(X)-2ε 时，译码一定出错。 解释：定长编码定理给出了信源进行等长编码所需码长的理论极限值。 §3.3定长编码定理－2－ AEP物理意义 任何一个离散随机序列信源当序列长度Ｌ→∝时,信源序列会产 生两极分化.大概率事件集合 与小概率事件集合 ,即nL= ∪ 对于 有性质: ①???????? ②???????? (信源熵) (大概率事件熵) ③? (等概率) 对于 有性质: 由此可见，信源编码只需对信源中少数落入典型大概率事件的集合的符号进行编码即可。而对大多数属于非典型小概率事件集合中的信源符号无需编码,且 。 ? §3.3定长编码定理－ 3- 证明 定长编码定理证明思路： 将取自X，长为L的信源符号序列分为集合 和 只对集合 中的序列进行一一对应的等长编码 此时的误差为 ，计算误差 可见当 ，且 (K/L)log m≥H(X)+ε 时， 几个概念： 编码信息率： （编码后平均每个信源符号能载荷的最大信息率） 编码效率： （编码前后平均每个信源符号能载荷的最大信息率之比） §3.3定长编码定理－4-物理意义 结论： 只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真编码 §3.3定长编码定理－ 5-举例 例2：设有一简单离散信源：L=1,n=2 对其进行近似于无失真的等长编码，若要求其编码效率为96%，差错率低于 10-5，试求符号联合编码长度L=？ 解： 由编码效率： 即： 再由: 可见,需要4100万个信源符号联合编码,才能达到上述要求,这显然是不现实的. 一般来说：当L有限时，高传输效率的等长码往往要引入一定的失真和错误，它不能象变长编码那样可以实现真正的无失真编码 §3.4变长编码定理-1 问题： 对于已知信源X可用码符号Y进行变长编码，而且对同一信源编成同一码符号的前缀码或惟一可译码可有许多种。究竟哪一种最好呢?从高速度传输信息的观点来考虑，当然希望选择由