《信息论与编码》 课件 杨守义 第5--7章 信源编码----网络信息论初步 .pptx

信息论与编码;2;3;4;5;6;7;;9;10;11;12;13;14;无记忆平稳信源平均符号熵为HL(X)，对任意，只要

则当L足够大时，必可使译码差错概率小于δ；即可实现几乎无失真编码；

反之，当时，译码差错一定是有限值，而L足够大时，译码几乎必定出错。

;码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是L足够大。

反之，当时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。

当时，则为临界状态，可能无失真，也可能有失真。

;L,,?,δ三者之间有什么关系？对于给定的?和δ，多大的L算足够大？;如果给定差错概率上界δ，则?越小，要求的编码长度L就越大。L越大，编码器越复杂，且时延越大，在有时延要求的场合，往往难以满足实时性要求。

增加?，可以减小对编码长度L的要求，但以牺牲编码效率为代价：;19;20;对例5-3中的信源，有8种不同的信源符号取值（a1~a8），如果用二进制序列来表示的话，每个符号需要3bit（3位二进制数可以表示8中不同的符号）。但由于不是等概率的，所以其熵H(X)=2.55bit，按照无失真定长信源编码定理，其极限编码长度是2.55bit，而，也就是说，只能表示5.856种不同的符号，其余的符号怎么办？

实际上，由于a1~a8中部分符号的概率较小，如果序列长度L足够大，则总有某种序列出现的概率足够小，对这些概率足够小的序列，如果不设计对应的编码码字，造成的错误概率也非常小。;22;23;24;25;若L=1,用二元定长编码(0，1)来构造一个即时码：x1→0，x2→1。

平均码长＝1二元码符号/信源符号

编码效率为

输出的信息率为

;若对长度为L=2的信源序列进行变长编码，其即时码如表5-2所示。

;该码平均长度：

单符号平均码长：

编码效率为：

;

;

;31;限失真信源编码定理：

对于任意的D≥0和?＞0，当信息率RR(D)时，一定存在一种编码方法，其译码失真小于或等于D+?，条件是编码的信源序列长度L足够长。

反之，如果RR(D)，则无论采用什么编码方法，其译码失真必大于D。

;香农第三定理??一个存在性定理，它只说明一定存在一种满足要求的编码方法。至于如何寻找这种最佳压缩编码方法，定理中没有给出。

在实际应用中，该理论主要存在以下两类问题：

（1）符合实际信源的R(D)函数的计算相当困难；

（2）即使求得了符合实际的信息率失真函数，还需要研究采用何种编码方法，才能达到或接近极限值R(D)。;34;35;36;37;38;39;40;41;42;43;44;45;;47;48;;;51;52;53;54;55;56;57;58;59;60;61;62;63;64;本章小结;66;67;68;第5章介绍了信源编码，是关于有效性的，第5章与第2章（第4章）是一条有效性主线；

本章将介绍信道编码，是关于可靠性的，第6章与第3章是一条可靠性主线。;70;71;72;73;74;75;76;77;78;79;80;81;82;83;84;85;86;87;88;89;90;91;92;93;94;95;96;97;98;99;100;101;102;103;104;105;106;107;108;109;110;111;112;113;114;115;116;117;118;119;120;121;122;123;124;125;126;127;128;129;130;131;132;133;卷积码的编码;(n,k,L)卷积编码示意;卷积码的编码;卷积编码器的一般结构;卷积编码器的一般结构;卷积编码器的转移函数矩阵;卷积编码器的转移函数矩阵;例6-3某二元（3,1,2）卷积码的转移函数转移函数矩阵为G(D)=(1,1+D,1+D+D2)，试画出其编码器电原理图。

该卷积码信息缓存矩阵为1×3，三维矩阵中的平面数目（L+1）为3，根据转移函数矩阵=（1,1+D,1+D+D2）可分解出三个平面（分别对应缓存矩阵的三列）对应的二维矩阵为：

G0=(1,1,1),G1=(0,1,1)，G2=(0,0,1)

;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的状态流图;卷积编码器的网格图;卷积编码器的网格图;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积码的译码;卷积