《信息论与编码》 课件 第5章信源编码.pptx

1;2;3;4;5;6;;8;9;10;11;12;13;无记忆平稳信源平均符号熵为HL(X)，对任意，只要

则当L足够大时，必可使译码差错概率小于δ；即可实现几乎无失真编码；

反之，当时，译码差错一定是有限值，而L足够大时，译码几乎必定出错。

;码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是L足够大。

反之，当时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。

当时，则为临界状态，可能无失真，也可能有失真。

;L,,?,δ三者之间有什么关系？对于给定的?和δ，多大的L算足够大？;如果给定差错概率上界δ，则?越小，要求的编码长度L就越大。L越大，编码器越复杂，且时延越大，在有时延要求的场合，往往难以满足实时性要求。

增加?，可以减小对编码长度L的要求，但以牺牲编码效率为代价：;18;19;对例5-3中的信源，有8种不同的信源符号取值（a1~a8），如果用二进制序列来表示的话，每个符号需要3bit（3位二进制数可以表示8中不同的符号）。但由于不是等概率的，所以其熵H(X)=2.55bit，按照无失真定长信源编码定理，其极限编码长度是2.55bit，而，也就是说，只能表示5.856种不同的符号，其余的符号怎么办？

实际上，由于a1~a8中部分符号的概率较小，如果序列长度L足够大，则总有某种序列出现的概率足够小，对这些概率足够小的序列，如果不设计对应的编码码字，造成的错误概率也非常小。;21;22;23;24;若L=1,用二元定长编码(0，1)来构造一个即时码：x1→0，x2→1。

平均码长＝1二元码符号/信源符号

编码效率为

输出的信息率为

;若对长度为L=2的信源序列进行变长编码，其即时码如表5-2所示。

;该码平均长度：

单符号平均码长：

编码效率为：

;

;

;30;限失真信源编码定理：

对于任意的D≥0和?＞0，当信息率RR(D)时，一定存在一种编码方法，其译码失真小于或等于D+?，条件是编码的信源序列长度L足够长。

反之，如果RR(D)，则无论采用什么编码方法，其译码失真必大于D。

;香农第三定理是一个存在性定理???它只说明一定存在一种满足要求的编码方法。至于如何寻找这种最佳压缩编码方法，定理中没有给出。

在实际应用中，该理论主要存在以下两类问题：

（1）符合实际信源的R(D)函数的计算相当困难；

（2）即使求得了符合实际的信息率失真函数，还需要研究采用何种编码方法，才能达到或接近极限值R(D)。;33;34;35;36;37;38;39;40;41;42;43;44;;46;47;;;50;51;52;53;54;55;56;57;58;59;60;61;62;63;本章小结;65;66;67