第章信息率失真函数.pptVIP

第4章信息率失真函数 4.1 平均失真和信息率失真函数 在前面几章的讨论中，其基本出发点都是如何保证信息的无失真传输。 但在许多实际应用中，人们并不要求完全无失真地恢复消息，而是只要满足一定的条件，近似地恢复信源发出的消息就可以了。 4.1 平均失真和信息率失真函数 然而，如何对失真进行描述？什么是允许的失真？信源输出信息率被压缩的最大程度是多少？信息率失真理论回答了这些问题，其中香农的限失真编码定理定量地描述了失真，研究了信息率与失真的关系，论述了在限失真范围内的信源编码问题。 4.1 平均失真和信息率失真函数 4.1.1 失真函数 输入符号集 X:{a1, a2, …, an}中有n种不同的符号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数 4.1 平均失真和信息率失真函数 表示信源发出符号xi而经信道传输后再现信道输出符号集合中的yj所引起的误差或失真，称之为xi和yj之间的失真函数。 4.1 平均失真和信息率失真函数 失真函数d (xi, yj) (i=1, 2, …, n; j=1, 2, …, m )共有(n?m)个具体值 ，按xi和yj的对应关系，排列成一个(n?m)阶矩阵，如下式所示 d称为信道 {X-P(Y/X)-Y} 的失真矩阵。 4.1 平均失真和信息率失真函数 例4.1 设信源符号X?{0,1}，编码器输出符号Y?{0,1,2}，规定失真函数为 d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 则得失真矩阵 4.1 平均失真和信息率失真函数 说明：失真函数d (xi, yj) 的数值是依据实际应用情况，用 yj代替xi, 所导致的失真大小是人为决定的。比如上例中，用y=2代替x=0和x=1所导致的失真程度相同，用0.5表示；而用y=0代替x=1所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方代价函数、绝对代价函数、均匀代价函数等。 4.1 平均失真和信息率失真函数 最常用的失真函数 均方失真： 绝对失真： 相对失真： 误码失真： 前三种失真函数适用于连续信源，后一种适用于离散信源。 4.1 平均失真和信息率失真函数 失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为： ? 4.1 平均失真和信息率失真函数 其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。 4.1 平均失真和信息率失真函数 4.1.2平均失真 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，要分析整个信源的失真大小，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为 ? 4.1 平均失真和信息率失真函数 式中，p(aibj),i=1,2,…,n,j=1,2,…,m是联合分布；p(ai)是信源符号概率分布；p(yj|xi)是符号转移概率分布；d(ai,bj) ,i=1,2,…,n,j=1,2,…,m是离散随机变量的失真函数。 平均失真D是对给定信源分布p(ai)经过某一种转移概率分布为p(bj|ai)的有失真信源编码器后产生失真的总体量度。 4.1 平均失真和信息率失真函数 对于连续随机变量同样可以定义平均失真 对于L长序列编码情况，平均失真为 ? 4.1 平均失真和信息率失真函数 4.1 平均失真和信息率失真函数 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真 ? D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信