信息论与编码 教学课件 作者 张莲 周登义 余成波 5.ppt

主要内容 一、信源编码与信道编码 二、信源编码的分类 三、无失真信源编码 四、等长码及等长编码定理 五、变长码及变长编码定理 六、变长编码的方法 一、信源编码与信道编码 1、通过前面几章的学习，我们应该知道： 各种通信系统，尽管它们的形式和用途各不相同，但都可以归结为第一章的一般模型。其中信源、信宿和信道是事先给定的，信源是产生消息的源泉，信宿用于接收信息，而信道则用于传输信息。 为了实现高质量、高效率的通信，引入了信源编码的信道编码，这些都是由人来设计完成的，通信质量的优劣，很大程度上取决于编码、译码过程设计的优劣。 综上所述，提高抗干扰能力往往是以降低信息传输率为代价的，而为了提高传输率又往往削弱了其抗干扰能力。这样，设计者在取舍之间就要进行均衡考虑，当然，香龙已经在理论上证明，至少存在某种最佳编码方法，可以有效地解决上述矛盾。 二、信源编码的分类 信源编码可分两种情况讨论，即允许接收信号有一定的失真或不允许失真。 无失真信源编码 此方法不考虑信道的干扰，仅考虑的是将信源输出的全部信息在接收端精确地重现出来，它只是对信源的冗余度进行压缩，并不改变信源的熵。 （1）此时，将信道编码和译码看成是信道的一个部分。是本章讨论的主要内容。 （2）适用范围：主要针对离散信源。而连续信源在量化编码的过程中必然会有量化失真，所以，对连续信源只能近似地再现信源的消息。 限失真信源编码 在许多实际情况中，信宿并不要求完全精确地复现信源输出的原信号，例如，在电话通信系统中，只要将通话内容送达对方就可以了，对音质并没有太高的要求。在这种情况下，允许接收信号有一定的失真，为提高传输率，我们可以事先对信源进行压缩编码，能压缩到什么程度由允许失真的程度来确定。这是本章第2小节至第8小节需要讨论的问题。 适用范围：主要针对连续信源； 共同点：均以提高信息率为主要最终目的。 三、无失真信源编码（5.1节） 主要内容： 一般用尽可能少的符号来传输信源消息，以便提高传输效率，这是信源编码应考虑的问题，本小节讨论在不允许失真的情况下的信源编码。等长编码定理给出了等长编码条件下，其码长的下限值，变长编码定理（香龙第一定理）给出了信源无失真变长编码时其码长的上、下限值。本章还介绍了三种通用信源编码方法、费诺编码法和霍夫曼编码法。 知识要点： 信息传输率、克拉夫特不等式、等长编码定理、变长编码定理、编码效率、无失真编码方法。 信源编码的定义和两个功能： 实际上是对信源的原始符号按一定的数学规则进行变换的一种代码。 信源编码的两个功能（或目的）： （1）将信源符号变换成适合信道传输的符号； （2）压缩信源冗余度，提高传输率； 1、信源编码的相关概念： 1）编码： 对信源输出的原始符号按照一定的数学规则进行的一种 变换。 2）编码器： 完成编码功能的具体器件。 3）译码器： 在接收端完成与编码器相反功能的具体器件。 4）码序列： 将信源输出的符号序列（或称消息），变换成适合信道传 输的符号序列，称为码序列。 2、无失真信源编码器的数学模型： 编码器完成的任务： 将信源符号集S中的符号 Si ，i=1，2，… ， q 变换成由Li个码符号组成的一一对应的码符号序列，即码字，并用Wi,i=1,2,… ,q来表示。 码字与信源符号Si之间是一一对应的关系，如图5.1.1所示 码长： 信源符号 Si 对应的码字 Wi 包含 Li 个码符号，称为码长。 总之，信源编码就是把信源符号序列变换到码符号序列的一种映射。若要实现无失真编码，那么这种映射必须是一一对应、可逆的。一般所来，人们总是希望把信源所有的信息毫无保留地传递到接收端，即实现无失传递，所以首先要对信源实现无失真编码。 3、举例说明用编码器实现对信源符号的编码 天气预报：信源有4个消息{ 晴、阴、雨、雪 }待发. 方法一： 如果码符号集为{ 1 , 2 , 3 , 4 }，此时，因为消息个数与码符号集个数相等，可以用单符号来表示这4个消息。 方法二： 如果码符号集为{ 0，1 }，则可将这4个消息变换成4个二位的二进制代码： 晴:00 阴:01 雨:10 雪:11 { 00,01,10,11 }就是分别代表{ 晴、阴、雨、雪 }这4个消息的码字，码长为2。 在此例中，{ 晴、阴、雨、雪 }是信源消息，码符号集仅含{ 0，1 }两个数字，{ 00,01,10,11 }是信源编码器的输出符号，即信道的输入符号，相应得到的码字。 4、码的