信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter9.ppt

第9章信息率失真函数 本章首先在研究离散信息率失真函数的基础上，介绍限失真信源编码定理，然后研究离散与连续信源的率失真函数的计算，重点是二元信源和高斯信源，最后简单介绍有损数据压缩技术。 §9.1 概 述 对于有失真信源编码，我们总希望在不大于一定编码速率（即传送每信源符号所需的平均的二进数字数）的条件下，使平均失真最小；或者在平均失真不大于某个值的条件下，使编码速率最小。仙农提出的信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，也称仙农第三定理，定理指出信源编码的码率大于R(D)是存在平均失真不大于D的信源编码的充分与必要条件。对有损压缩编码系统，确定失真测度是首要的工作，不同的失真测度会得到不同R(D)函数。 9.1.1 系统模型 一个有损压缩系统对信源发出的消息X进行有失真信源编码，经理想无噪声信道传输，到达信源译码器，输出为Y。由于编码有失真，所以Y不是X的精确复现。 9.1.2 失真测度 1．单符号失真测度 试验信道的输入x和输出y之间的失真用 表示，其中 。 定义失真矩阵 其中， 表示当试验信道的输入为a时，输出为b所产生的失真。 9.1.2 失真测度 如果规定 那么失真矩阵变为 9.1.2 失真测度 2．序列失真测度 设序列 其中 取自符号集A； 其中 取自符号集B；序列失真测度定义为： 上式表明，序列的失真测度是所包含符号失真的算术平均。 9.1.2 失真测度 3．平均失真 单符号平均失真定义为： 序列平均失真定义为： §9.2 离散信源信息率失真函数 下面进行详细讲解 9.2.1 信息率失真函数 定义信息率失真函数(rate-distortion function)为： 或 9.2.2 R(D)函数的性质 1、R(D)的定义域： 且 9.2.2 R(D)函数的性质 例9.2.1 设试验信道输入符号 ，概率分别为1/3，1/3，1/3，失真矩阵如下所示，求Dmin和Dmax和相应的试验信道的转移概率矩阵。 9.2.2 R(D)函数的性质 解 =1 令对应最小 的 ，其它为0。可得对应Dmin 的转移概率矩阵为： 9.2.2 R(D)函数的性质 = 5/3 上式中第2项最小，所以令 。可得对应Dmax 的转移概率矩阵为： 9.2.2 R(D)函数的性质 2．R(D) 是关于D的下凸函数 设D1,D2为任意两个平均失真， ，那么 9.2.2 R(D)函数的性质 3、R(D)是(Dmin,Dmax)区间的连续和严格递减函数 证：R(D)在定义域内为凸函数，从而保证了连续性。下面证明在定义域内也是非增函数。由 ，在较大范围内求极小值一定不大于在所含小范围内求的极小值，所以 。由于在定义域内R(D)不是常数，而又是非增下凸函数，从而推出R(D) 9.2.2 R(D)函数的性质 4．关于信息率失真函数的几点解释： （1）通常我们总希望信息通过信道传输时输入与输出之间的互信息最大，是在信道给定情况下的要求。而这里是在信源给定而不是信道给定条件下的传输。信息率失真理论要解决的问题就是计算满足失真要求的传输所需要的最小信道容量或传输速率，以达到降低信道的复杂度和通信成本的目的。 9.2.2 R(D)函数的性质 （2）根据R（D）为单调减函数的性质，如果我们固定平均互信息，选择信道的转移概率使平均失真最小，可以得到同样的R（D）函数曲线，唯一的差别就是变量之间作用交换。这时就得到“失真率函数”（distortion-rate function）。 失真率函数定义为 §9.3 限失真信源编码定理 本节包括限失真信源编码定理和限失真信源信道编码定理。限失真信源编码定理指出，当给定一个平均失真D时，对信源码率压缩的最低限度为R（D），而限失真信源信道编码定理指出，当信道容量C大于R（D）时，信息能够通过信道以不大于D的平均失真传输。 9.3.1码率的压缩 设信源X发出长度为N的序列，而码字仅有M个，即仅对M个信源序列进行编码。设信