第4章离散信源的信源编码.ppt

信源编码的含义: 将信源产生的消息变换为数字序列的过程。 信源编码的主要任务: 把消息信号数字化和压缩其冗余度，提高编码效率。 由于信源消息之间可能具有相关性，使得其输出符号序列中存在着冗余度。 信源编码就是要把信源发出的消息变换成由信道基本符号构成的代码组（亦称码字）以使其能在编码信道上传输，并且尽量减少码字的平均长度以提高通信的有效性。 从编码结果使信源消息的信息量有无损失角度，可分为无失真信源编码和限失真信源编码两种。 无失真信源编码和限失真信源编码的理论基础分别为香农第一定理和香农第三定理。 本章仅讨论无失真信源编码并仅限于离散信源 引出信源编码的一般模型，讨论离散信源的无失真编码，导出香农第一定理， 给出最佳编码的概念，几种最佳编码的实例， 介绍和分析几种文本、图像的编码方法，并对译码中可能出现的错误扩展问题提出了讨论。 ASCII（America Standard Code II）码 ASCII码是人们最为熟悉一种信源编码结 果，它是由两位16进制数00~FF构成的码字集合，与一些控制字符（回车，换行等）、可打印字符（0~9，A~Z，a~z，+，– ，*，/ 等）以及图形符号一一对应。通常称这些字符、图符为ASCII字符。 字符集合：ASCII字符 代码集合：16进制数 信道基本符号集合：ASCII码 编码器：产生它们之间相互关系的装置 如果将编码器看作是一个网络，则它有2个输入和1个输出，分别是消息集合X、信道基本符号集合A和代码集合S。 设消息集合共有n个元素，信道基本符号共有D种，代码组集合的元素个数为N，则 X={x1，x2，…，xn } A={a1，a2，…，aD } S={s1，s2，…，sN } 信源编码器的主要任务: 完成输入消息集合与输出代码集合之间的映射。 （1）选择合适的信道基本符号，使映射后的代码适应信道。例如ASCII码选用了16进制数。 （2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是字。 （3）编码应使消息集合与代码组集合中的元素一一对应。 上述三点也是对信源编码的基本要求。 通常称具有上述映射规则的信源编码器为正规编码器，编出来的码称为非奇异码。 在有些应用中可以只关心编码器的输出而不追究其初始消息和编码过程，这时可以把信源和正规编码器合在一起而称之为等效信源或简称信源，而把编码器的输入称为初始信源。 由于正规编码器一一对应的规则确保了编码过程不会造成信息量的损失，故等效信源的熵必定与初始信源的熵相等。 码字的平均长度最短和易于实现是最被人们注重的 。 前者追求用尽可能少的信道基本符号来表示尽可能多的信源消息，即提高编码效率，后者则需综合考虑其实现方法的性能价格比。 中文电报的基本编码方法是将每一个汉字或字符用4位十进制数来表示，每一个十进制数再用5位二进制数来表示。 例如，“信息论”三个字的电码分别是(0207)，(1873)，(6158)。以“信”为例，首先将它编成4位十进制的码0207，再将它们变换成20位二进制的码:01101 11001 01101 11100，由此可见，其编码过程为 汉字 电码 二进制码字组 从汉字的电报码可以看出如下问题： （1）若每个汉字都用4位十进制数来表示，则汉字电报电码最多只能有1万个（0000~9999）， 将汉字字符分为常用和非常用两大类，将常用汉字字符直接用4位十进制数表示； 对非常用汉字字符则根据汉字的结构，用多个常用汉字字符的组合来表示，这就是“电码作字办法”。 就汉字总体而言，中文电报是非等长编码，而其中的常用字是等长编码。 （2）1个常用汉字用20-bit的二进制数来表示，但20-bit的二进制数可表示的汉字字符数为220= 1 048 576个，因此尽管汉字到电码再到二进制码的变换是一一对应的，但反过来就不是一一对应了。 这样做是不是浪费了很多二进制码？这种编码是不是最好？能不能找一个判定编码优劣的判据？ 电报编码具体的变换关系为 0→01101，1→01011，2→11001，3→10110，4→11010，5→00111，6→10101，7→11100，8→01110，9→10011。 这种编码只能检测错误但不能纠正错误，称为检错码。 （1）把信源发出的消息一一对应地变换成由信道基本符号构成的代码组，以使得消息能在编码信道上传输； （2）尽量减小代码组的平均长度，提高编码效率。 可以从不同的角度来定义编码效率。 从利用信道传输能力的角度来