[工学]信息论与编码_第5章有失真信源编码.ppt

第5章 有失真信源编码 第5章 有失真信源编码 5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理 5.1 信息率失真函数 编码器输入X：xi?{a1, a2,…,an}. 编码器输出Y：yj?{b1, b2,…,bm}. 无失真: xi=yj 有失真: xi≠yj 5.1 信息率失真函数 失真矩阵 5.1 信息率失真函数 例5.1.1. 设信源符号X?{0,1}, 编码器输出符号Y?{0,1,2}, 规定失真函数为 d(0,0 )= d(1,1)=0 d(0,1 )= d(1,0)=1 d(0,2 )= d(1,2)=0.5 　则失真矩阵为 5.1 信息率失真函数 均方失真： 绝对失真： 相对失真： 误码失真（适用于离散信源）： 5.1 信息率失真函数 平均失真： 平均失真 是对给定信源分布p(xi) 经过某一转移概率分布为p(yj |xi) 的有失真信源编码器后产生失真的总体量度。 5.1 信息率失真函数 序列编码的失真 输入：X=(X1, X2,…,XL)，样值为: x=(x1, x2,…, xL) 输出：Y=(Y1, Y2,…,YL)，样值为: y=(y1, y2,…, yL) 失真函数定义为： 5.1 信息率失真函数 有失真信源编码器模型 信源编码目的 寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题 R越小，引起的平均失真就越大。 解决方法 给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码方案使得信息率R最小。 5.1 信息率失真函数 有失真信源编码器模型 5.1 信息率失真函数 5.1 信息率失真函数 信息率失真函数 信息率失真函数R(D)的物理意义： 对于给定信源，在平均失真不超过失真限度D的情况下，信息率允许压缩的最小值为R(D) 。 第5章 有失真信源编码 5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 R(D)是关于D的下凸函数(0≤α≤1) R(D)是关于D的连续函数 5.2 信息率失真函数的性质 R(D)是关于D的严格递减函数 允许的失真越大,所要求的信息率越小 5.2 信息率失真函数的性质 5.2 信息率失真函数的性质 当p(xi)固定，互信息量I(X;Y)是信道转移概率概率分布p(yj|xi)的下凸函数,存在极小值。信息率失真函数就是假定信源给定的情况下,在试验信道（满足保真度准则的信道）中求平均互信息的极小值,即 5.2 信息率失真函数的性质 信道容量反映的是信道传输信息的能力，即信道可传输的最大信息率。研究信道容量目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，即信道编码问题。信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现。 信息率失真函数反映的是信源可压缩的程度，即在可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。研究信息率失真函数目的是用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性问题，即信源编码问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。 5.2 信息率失真函数的性质 信道容量只与信道转移概率分布有关，反映信道特性，与信源无关。 信息率失真函数只与信源概率分布有关，反映信源特性，与信道特性无关。 第5章 有失真信源编码 5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理 5.3 限失真信源编码定理 定理. 设离散无记忆信源X的信息率失真函数为R(D),当信息速率R R(D)时, 只要信息序列长度L足够大，一定存在一个编码方法，其译码失真? D+?， ?为任意小的正数；反之，若R R(D), 则无论采用什么编码方法，其译码失真必定大于D. 如果是二元信源，则对于任意小的正数?，每一个信源符号需要的平均码长满足以下公式： * 信息论与编码 Information and Coding Theory 王永容 机械与电气工程学院 wangyr416@126.com 实际通信系统允许一定的失真存在。 1 打电话； 2 放电影，视觉暂留性。 允许压缩信源输出的信息率。 研究内容：信息率