信息论基础教程 教学课件 作者焦瑞莉 第六章 限失真信源编码.ppt

第六章 限失真信源编码 （1）在理论上无失真无法解决 例：连续信源，输出的消息要用无穷多比特数描述才能无失真再现消息，而信道的带宽有限，所以，无法解决不失真问题。 （2）在许多实际系统中失真是一定存在的 例：普通电话，数码率 64 Kbit/s ，要求高，则增加传输与处理数据的复杂性，为此进行压缩，产生失真。 （3）在实际应用中，一定程度的失真是允许的 失真存在并不影响实际的信息传输，在允许 的失真限度下，可以对信源输出的信息进行压缩， 结果并不影响近似再现信源输出的信息。 问题：在允许的失真限度下，对信源输出的 信息进行压缩到什么程度，才能不影响近似再现 信源输出的信息？ 信源无失真编码——冗余度压缩，保熵 信源限失真编码——熵压缩 熵压缩的下限值——压缩不低于该值，即保证在允许失真下可以近似再现信源的信息。 下限值＝？ 率失真函数的定义 率失真函数的定义 序列的失真函数： 序列的失真度等于序列中对应的单符号的失真度之和。 平均失真： 对单个符号的平均失真： 当信源是独立同分布，信道是无记忆时，即 可以验证 率失真函数R(D)的定义 率失真函数R(D)与信道容量C 率失真函数R(D)与信道容量C的比较 率失真函数R(D)的性质 率失真函数R(D)的性质 率失真函数R(D)的性质 率失真函数R(D)的计算 率失真函数R(D)的计算 高斯信源的率失真函数R(D) 限失真信源编码定理 信源编码定理的讨论 率失真函数的定义与性质 限失真信源编码定理的意义 * * * 率失真函数的计算 率失真函数的定义 限失真信源编码定理 率失真函数的性质 本章主要内容 限失真信源编码的意义 失真度（失真函数）定义 失真矩阵D（失真度的矩阵表示） d (ui , vj)≥0 i =1，2，…，n , j =1，2，…，m 平均失真度定义 失真度计算举例 率失真函数定义 信源 信道 信源编码器 （试验信道） p(v|u) 无噪信道 定义 描述对象 R(D) : 信源特性—信源的可压缩性 C : 信道特性—信道的传输能力 实际应用 R(D) : 限失真信源编码（熵压缩编码） C : 最大限度的利用信道，信道编码 求解 R(D) 已知 p(u) 和 d(u,v) 求 I ( U ;V ) 极小值 约束条件为 C 已知 p(v|u) , 求 I ( U ;V ) 极大值 约束条件为 〖例6.3〗设信源符号有2n种取值（a1，a2，…，a2n），而且是等概率的，即pi=1/2n，失真函数为 要做到不失真地传送，平均每个符号需要有log2n的信息率。 现允许平均失真D =1/2，编码后信息率为多少？ (1) R（D）的定义域（0,Dmax） (2) R（D）是D的下凸函数 R[θD1+(1－θ)D2] ≤θR(D1)+(1－θ)R(D2) (4) 对于离散无记忆信源，有 RN（D）= N R1（D） (3) R（D）函数具有单调递减性和连续性 若 D1＜D2 ，有 R(D1)＞R(D2) 已知 p(u) 和 d(u,v) ，求 I ( U ;V ) 极小值 约束条件为 Y 0 0 1 X D 1－D D 1－D 1 [例2] 若高斯信源U，它的概率密度为 而失真函数为d (u , v)=(u－v)2 。 则此信源的率失真函数为 设离散无记忆信源的率失真函数为R（D），如果信源编码后平均每个信源符号的信息传输率R’ R（D），则一定存在一种信源编码 C，使编码后的平均失真度 。 限失真信源编码定理 设离散无记忆信源的率失真函数为R（D），如果信源编码后平均每个信源符号的信息传输率R’ R（D），则无论采用什么编译码方式，一定有平均失真度 。 限失真信源编码逆定理 香农第三定理 设离散无记忆信源的率失真函数为R（D），如果信源编码后平均每个信源符号的信息传输率R’ R（D），则一定存在一种信源编码 C，使编码后的平均失真度 。 限失真信源编码定理（香农第三定理） 无失真信源编码定理（香农第一定理） 离散无记忆信源S的N次扩展信源SN，具有熵H(SN) 。若对信源SN 进行r 进制编码，总可以找到一种编码方法，构成唯一可译码，码字平均长度满足 第六章 小结 * *