第四章信息率失真函数-改.pptVIP

前一章介绍的信道容量告诉我们：只要信道的信息传输速率小于信道容量，则总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 [例] 删除信源。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为： 其中接收符号vs作为一个删除符号。 在这种情况下，意味着若把信源符号再现为删除符号vs时，其失真程度要比再现为其他接收符号的失真程度少一半。 若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。失真度为： R(D)的定义域为[Dmin，Dmax ]。 通常Dmin = 0， R(Dmin) = H(X) 当 D≥Dmax时, R(D) = 0 当 0 ≤D≤Dmax时, 0＜R(D) ＜H(X) 离散信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难。通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 二元对称信源的R(D)函数 设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},汉明失真矩阵 计算得：R(0)=I(X;Y)=H(p) 最大允许失真度为 这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为y=1 凡发送符号x=0时,一定都错了。而x=0出现的概率为p,所以信道的平均失真度为p 。 在这种试验信道条件下，可计算得 R(Dmax) = R(p) = 0 信息率失真函数的一般形状 §4.2 离散信源的信息率失真函数 求解 只提供思路 因而最小允许失真度Dmin=0。 并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为 要达到最大允许失真度的试验信道,唯一确定为 * * 第4章：信息率失真函数 实际通信系统允许一定的失真存在,有时也没必要要求完全无失真传输。 1 打电话； 2 放电影，视觉暂留性。 每秒传送25帧图,可以满足人类视觉要求; 几千HZ到十几千HZ可以满足人类听觉要求. §4.1 信息率失真函数 1、失真函数 信源 信源编码 信道编码 信道 信道译码 信源译码 信宿 干扰 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。我们称此信道为试验信道。 §4.1.1 失真函数和平均失真度 信源 信宿 试验信道 现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设离散信源概率分布为 称为单个符号的失真度（或称失真函数）. 经信道传输后输出序列为: 对任一 指定一个非负数 失真函数用来表征信源发出一个符号ai，而在接收端再现成符号bj所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式： 我们称它为失真矩阵。 则 d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1 d(0,1)=d(1,1)=1/2 除j=s以外所有的j和i 所有i 1 常用失真函数 汉明失真 称为 2 称平方误差失真函数. 如: 绝对值误差失真测度 信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出失真测度 d i j = ︱xi - yj ︱ i, j = 0, 1, 2 则失真测度矩阵为 　 由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期