叶中行信息论课件第五章.ppt

信息率失真函数的一般形状5.2离散信源率失真函数的计算其约束条件为：已知信源的概率分布P(X)和失真函数d(x,x^)，就可求得信源的R(D)函数；原则上它与信道容量一样，即在有约束条件下求极小值的问题．也就是适当选取试验信道P(x^|x)使平均互信息最小化：一、信息率失真函数的参量表述应用拉格朗日乘子法，原则上可以求出解来．01020304但是，如果要求得到明显的解析表达式，则比较困难，通常只能用参量形式来表达．即便如此，除简单情况外，实际计算仍然是相当困难的．尤其是第三个约束条件，它是求解R(D)函数最主要的障碍．目前，可采用收敛的迭代算法在电子计算机上求解R(D)函数．因为应用拉格朗日乘子法解得的一个或某几个P(x^|x)很可能是负的．在这情况下，必须假设某些P(x^|x)=0，然后重新计算，这就使得计算复杂化了．下面介绍用拉格朗日乘子法求解R(D)函数，并用λ作为参量来表述率失真函数R(D)和失真函数D(λ)：由式(1)知，当信源的概率分布P(x)固定，平均互信息仅仅是试验信道P(x^|x)的函数.若先不考虑式(2)的约束，约束条件式(3)包含n个等式，取拉格朗日乘子α分别与之对应；并取拉氏乘子λ与式(4)对应.由此构成辅助函数：(2)(3)(4)求极值，就是求辅助函数一阶导数等于零的方程组的解.即求：所以原则上只需求解式(6)、(3)和(4)的方程组，即可求出I(U;V)在约束条件下的极小值．令代入（6）得到对x^求和，得将（**）代入（*）得到乘P(x),对x求和，最后同除以P(x^)得到解方程组可以求得P(x^).从而，代入（**）式求出β(x),从而将其代入（*）式得到P(x^|x).由式(1)知，当信源的概率分布P(x)固定，平均互信息仅仅是试验信道P(x^|x)的函数。若先不考虑式(2)的约束，约束条件式(3)包含n个等式，取拉格朗日乘子α分别与之对应；并取拉氏乘子λ与式(4)对应.由此构成辅助函数：(2)(3)(4)得到率失真函数和平均失真函数：注：这时所得的结果是以λ为参量的表达式，而不是显式表达式，因而所得到的R(D)的表达式也是以λ为参量的表达式．参量λ对应的限制条件为式(4)，它与允许的失真度D有关，所以以λ为参量就相当于以D为参量．例题设信源，相应的概率分布为1求此信源2解：利用式子计算3范例展示4汉明失真的，并给出其率失真分布．51对x^求和，得2将（**）代入（*）得到3乘P(X),对x求和，最后同除以P(x^)得到4两端同乘P(x)，对x求和：解得：利用结果（**），可得乘P(X),对x求和，最后同除以P(x^)得到03将（**）代入（*）得到02对x^求和，得01解得：利用结果（**），可得将上述结果代入式子中，得得到率失真函数和平均失真函数：将上述结果代入式子中，得1由于λ取负值，所以2.又要满足解得3而4.所以，当5时，必有6因此分两个区间计算率失真函数.782）利用结果（**），可得计算得：综上所述，得它的率失真函数：01对应的率失真分布：02二进对称信源的率失真函数r元等概分布对称信源的率失真函数01对应的率失真分布：02输入标题习题：一个四元对称信道输入标题输入标题输入标题求信源的R(D)函数2接收符号为其失真矩阵为143第5章

限失真信源编码和率失真函数无失真信源编码和有噪信道编码表明：只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小．01但是，无失真的编码并非总是必要的：02例如在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，从而可以把频谱范围从20Hz~8kHz的语音信号去掉低端和高端的频率，视为带宽只有从300Hz~3400Hz的信号；这样，即使传输的语音信号有一些失真，人耳还是可以分辨或感觉出来，已满足语音信号传输的要求．03在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，即最少需要多少比特数才能描述信源，是本章将要讨论的问题．5.1限失真信源编码模型和率失真函数从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大．所以信息传输率与信源编码所引起的失真(或误差)是有关的．一、失真测度1.定义1.定义信源编码器输入X