信息论与编码民大06-限失真信源编码new.ppt

电信学院 汪汉新 信息率失真函数 保真度准则下的信源编码定理 理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R=(Klog2m)/L小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。 有些失真没有必要完全消除（限失真信源编码） 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话：即使语音信号有一些失真，接电话的人也能听懂。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 在允许一定失真程度的条件下，怎样用尽可能少的信道符号来表达信源的信息，也就是信源熵所能压缩的极限或者说编码后信源输出的信息率压缩的极限值，这就是限失真信源编码要讨论的问题。 限失真信源编码也称保真度准则下的信源编码、熵压缩编码或者称信息率失真理论，它是量化、数模转换、频带压缩和数据压缩的理论基础。 如果无失真的冗余度压缩编码主要是针对离散信源的，那么，限失真的熵压缩编码主要是针对连续信源。 信息率失真函数极小值问题 I(X;Y)是P(X)和P(Y/X)的二元函数； 在讨论信道容量时：固定P(Y/X) ， I(X;Y)变成P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值； 在讨论率失真时：固定p(xi) ，变更p(yj /xi)来求平均互信息的极小值。由于I(X;Y)是p(yj /xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj /xi)= p(yj ))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。 引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变成有意义了。 信息率与失真的关系 信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率也越小。 失真度 设离散无记忆信源为 失真函数的表达 均方失真： 绝对失真： 相对失真： 误码失真： 常用的失真函数 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。常用的失真函数有 (1)绝对失真：汉明失真 在离散对称信道中，定义单个符号失真度为汉明失真。 汉明失真矩阵D通常为方阵，且对角线上的元素为0。即 (2)均方失真：平方误差失真函数 如果信源符号代表信源输出信号的幅度值，则上式意味着较大的幅度差值要比较小的幅度差值引起的失真更为严重，严重程度用平方表示。 失真矩阵 失真度还可表示成矩阵的形式 称[D]为失真矩阵。它是n×m阶矩阵。 d(x,y)≥0 平均失真度 d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。 平均失真度：平均失真度为失真度的数学期望 平均失真度意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。 保真度准则 人们所允许的失真指的都是平均意义上的失真。 保真度准则：规定平均失真度 不能超过某一限定的值D，即 ，则D就是允许失真的上界。该式称为保真度准则。 将保真度准则作为信道传递概率的约束条件，再求信道的信息率R=I(X;Y)的最小值就有实际意义。 试验信道 单符号信源和单符号信道的试验信道 当固定信源（ P(X)已知），单个符号失真度也给定时，选择信道使 。凡满足要求的信道称为D失真许可的试验信道， 所有试验信道构成的集合用PD来表示，即 信息率失真函数 在信源和失真度给定以后，PD是满足保真度准则 的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj /xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即