信息论与编码(第三版)-第4章-离散信源编码理论-0525.ppt

信息率失真函数不仅与信源符号取值、信源概率分布、失真的测度有关，而且与接收端再现符号也是密切相关的。例4.8设信源概率空间为，选择试验信道的输出为{b1=0,b2=0}，失真测度为编码方案如下：经过信源编码后，信源所需要传输的信息量由原来的2比特/符号压缩为1比特/符号。按照给定失真测度，引入的平均失真为，改变再现或者重建符号并且采用相同的测度，则平均失真为采用不同的重建符号取值，则得到的平均失真也不同对于这种给定的简单试验信道，平均失真可以根据失真测度计算出来；当改变试验信道的转移矩阵，平均失真会发生变化，所以平均失真是信道转移概率的函数；同样平均互信息量也是试验信道转移概率的函数。信息率失真函数就是在信源和再现符号取值一定情况下，对于给定平均失真测度，改变试验信道的转移概率，使得平均互信息量最小。在信源编码中，平均互信息量就是信源进行限失真压缩后的输出码率，所以信息率失真函数就是在给定信源的情况下，在允许的失真内再现或者重建信源消息的最小平均信息量，即信源压缩后的最小输出码率。4.4.3信息率失真函数的性质1.R(D)的定义域(1)Dmin和R(Dmin)D是非负的；此时一般表示形式先验概率一定由于d(ai,bj)是已知的,现在任务就是选择试验信道的转移概率p(bj|ai),对每个信源符号ai,使得下列表示式最小从失真矩阵来看，平均失真最小值就是矩阵每行元素的最小值乘以对应符号概率，然后求累加和。允许失真最小值是否为0取决于失真函数，如果失真矩阵中每行都有一个0元素，则最小失真为0；否则，只要有一行没有0元素，则最小失真不为0。所以0是失真函数的下界。上述的最小值问题，就是对给定ai找到一个最小的失真d(ai,bj)使得对应的条件转移概率为1，而对于其它失真，p(bj|ai)=0,从而使得平均失真最小对于所有d(ai,bj)最小的bj对于所有d(ai,bj)不为最小的bj例4.9信源X的概率空间为而Y取值于{b1,b2,b3}，失真矩阵为求Dmin解：由于失真矩阵中每行都存在0元素，所以取得最小允许失真所对应试验信道概率矩阵为从信道概率矩阵可以看出，允许失真取得最小值的条件是：信源符号与再现符号之间满足一一对应的关系，显然这是一个无噪有损信道，满足(2)Dmax和R(Dmax)根据信息率失真函数的定义，R(D)是在给定平均失真D情况下，平均互信息量的最小值;由于I(X;Y)是非负的，其下限为0。当R(D)=0时，对应的平均失真取得最大值。的条件是什么？取的最小值得到由于概率p(ai)和d(ai,bj)是已知的，上述的极值问题就是找到一种概率分布p(bj),使得表示式取得最小值R(D)的定义域为(0,Dmax),而值域为(0,H(X)),且满足如果最小失真为0，则对应的率一定为H(X);否则，对应率小于H(X)失真大于最大失真，则率一定为0例4.10给定信源X的率空间为失真矩阵为求最小失真，并且给出取得最小失真的条件解：确定条件转移概率最小失真为找每行元素最小值例4.11求例4.10给定条件的最大失真解：根据最大失真计算公式给定列，先验概率p(ai)乘以失真矩阵对应列元素，然后相加将概率分布和失真代入上式，得到2．R(D)是D的下凸函数假设有一个函数f(x),在定义域内任意两点x1x2,可以连成一条直线，该直线的函数表达式为下凸函数直线上的任一点x，满足x1xx2,可以表示为满足即则该函数是下凸函数将下凸函数用于信息率失真其中为两个任意失真证明：设有两个试验信道p1(bj|ai),p2(bj|ai)对应的信息率失真函数分别为R(D’),R(D”),有试验信道中的平均失真再定义一个新的试验信道，设其信道转移概率为(2)对于给定的信源离散无记忆X，信源的熵是一定的，当码符号数量选定时，可以增加信源序列的长度N，使得无失真编码产生的每个符号平均长度尽可能小，但是无论怎样增加序列长度N，信源每个符号的平均码长不可能小于H(X)/logd，即平均码长的极限为H(X)/logd。(3)当序列长度N一定，译码错误概率为其中定义4.2设离散无记忆信源X的熵为H(x)，对N次扩展信源的符号序列XN进行等长无失真编码，码长为L，定义自信息量方差为编码信息率。每个符号的平均码长从定理4.5可知，如果编码信息率R’H(x),总是存在一种编码方法，能够实现无失真编码；反之，则不能够实现无失真编码。定义4.3定义编码信息率与信源熵之比为编码效率η已知自信息量方差和编码效率情况下