信息论与编码 曹雪虹 PPT 第4章.ppt

第4章　信息率失真函数 本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D） 。 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R（D）计算 4.1 平均失真和信息率失真函数 4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。 4.1.1 失真函数 假如某一信源X，输出样值为xi，xi?{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj ?{b1,…bm}。如果xi＝yj，则认为没有失真；如果xi ? yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为 失真矩阵 单个符号的失真度的全体构成的矩阵 ，称为失真矩阵 最常用的失真函数 均方失真：? 失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为： ? 4.1.2 平均失真 由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为 ? ? 对于连续随机变量同样可以定义平均失真 4.1.3 信息率失真函数R(D) 4.1.3 信息率失真函数R(D) 给出一个失真的限制值D，在满足平均失真 ? D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。 （1）D允许试验信道 平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足x下式条件的所有转移概率分布pij，它们构成了一个信道集合PD 称为D允许试验信道。 （2）信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 对于离散无记忆信源，R(D)函数可写成 p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布 p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。 例4-1-3 设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。 4.1.4 信息率失真函数的性质 R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0 对于连续信源 (2) Dmax和R(Dmax) Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即 求出满足条件 的D中的最小值 ，即 从上式观察可得：在j=1，…，m中，可找到 值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成 例4-1-4 设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为 2、R(D)函数的下凸性和连续性 由以上三点结论，对一般R(D)曲线的形态可以画出来 4.2 离散信源和连续信源的R（D）计算 某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2，