第7章 保真度准则下的信源编码(ok).ppt

第7章 保真度准则下的信源编码 7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 7.3 二元信源和离散对称信源的R(D)函数 7.4 保真度准则下的信源编码定理 7.5 联合有失真信源信道编码定理 7.6 有失真信源编码定理的实用意义 思考 1、什么是信息传输率及信息传输速率？ 2、信道容量的概念及几种表述？（几个单位？） 3、平均互信息量的物理意义？ 4、平均互信息量与信息传输率的关系？画图说明。 5、平均互信息量是否有最大值和最小值，这两个值如何找 到？与什么有关。 6、平均互信息量是否有最大值和最小值分别表示什么？ 7、说明信道容量与信息率失真函数的对偶性？ 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。 第7章 保真度准则下的信源编码 前面介绍的是无失真信源编码,适用于离散信源,只要满足RC,总能做到寻找一种编码方法做到无失真编码,但实际信源有些是模拟信源,其熵为无穷大,,此时无论如何也找不到一种编码方法做到无失真.在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 1、失真度 根据信道编码定理，我们可以把信道编码、信道和信道译码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道, 称此信道为试验信道。 7.1 失真度和平均失真度 信源 信源编码 信道编码 信道 信道译码 信源译码 信宿 干扰 调制 解调 信源 信宿 试验信道 试验信道模型: 现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。即I(X,Y)最小. 即:在保证一定失真度情况下,寻找信息传输率的最小值,(信道中平均每个符号携带的最少的信息量),为此,首先讨论失真的测度. 7.1 失真度和平均失真度 失真度定义: 设离散无记忆信源变量为 ， 其概率分布为 对于每一对(u,v)，我们指定一个非负的函数 称为单个符号的失真度（或称失真函数） 接收端变量为 ， 7.1 失真度和平均失真度 2、物理意义：失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式： 我们称它为失真矩阵。 7.1 失真度和平均失真度 例1： 失真矩阵为： 这种失真成为汉明失真 7.1 失真度和平均失真度 例2：删除信源 对于二元删除信源r=2,s=3 7.1 失真度和平均失真度 例3：对称信源r=s，定义失真度为： 当r=s=3时， 失真矩阵为： 7.1 失真度和平均失真度 4、平均失真度 若已知试验信道的传递概率，则平均失真度为： 若平均失真度 不大于我们所允许的失真D，我们称此为保真度准则。 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。 7.1 失真度和平均失真度 7.2 信息率失真函数及其性质 1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在 中找一个信道，使平均互信息取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。 2、信息率失真函数的性质 1)、R(D)的定义域是 (1)、 和 允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵 例： 7.2 信息率失真函数及其性质 满足最小失真度的试验信道是一个无噪无损信道： (2) 因为D越大，R(D)越小，最小为0，当D再大时，R(D) 也只能为0，此时，发送与接收统计独立，即： 失真度函数变为： 7.2 信息率失真函数及其性质 所以， 就是在R(D)=0的情况下，求 的最小值 当 时， 而当 时 上式可改写为 可以这样选 ，当 最小时，取 等于1，则： 7.2 信息率