-信息率失真函数.pptVIP

第4章 信息率失真函数 理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R 小于信道容量 C ，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于 C 的传输率来传送信息。反之，若 RC，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。 有些失真没有必要完全消除（限失真信源编码） 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话：即使语音信号有一些失真，接电话的人也能听懂。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 4.1 平均失真和信息率失真函数 狭义信息论体系结构 *电子信息工程教研组 刘颖娜 * 本章节教学内容、基本要求、重点与难点 1. 教学内容： 限失真信源编码定理。 率失真函数。 2. 教学基本要求： 掌握率失真函数的定义、性质。 3. 重点与难点： 率失真函数。 信息率失真理论-------信息率失真函数 香农定义了信息率失真函数R(D)。 定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。 信源编码允许一定的失真，不能大于某个限度，规定一个失真测度：失真函数。 设信源 X xi∈{x1,x2,…, xn}经过信源编码器，产生一定的失真， 输出 Y yj ∈{y1,y2,…, ym} 失真函数：用来衡量X Y的失真程度的函数。 4.4.1 失真函数 例：信源 X∈{ 0，1 } 经过信源编码器，输出 Y∈{ 0，1，2 }， 定义失真函数 d(xi,yj)函数可以任意取，如 均方失真： 绝对失真： 相对失真： 误码失真： 离散 数字 失真函数可以定义，扩展到序列编码： 设信源序列输出 编码后变为 失真函数定义为： 4.1.2 平均失真 xi,yj、d(xi,yj)都是随机变量，对整信源失真的描述用数学期望或统计平均来表示，即平均失真。 对于给定的信源分布，经过某种转移概率分布的有失真信源编码器后，产生的总体失真量度。 对于L长序列的编码情况 4.1.3 信息率失真函数 R(D) 一般信源 X 经编码后变为 Y，可将信源编码器想象为信道。 信源编码 假想信道 信源编码的目的是编码后对信源进行传输所需要的信息传输率 R 尽量小。 这样，平均失真D就有一个取值范围（若每个失真对应一种编码器），有多种编码器可以选择（选择假想信道），哪种编码器在允许的失真D下输出的结果的信息传输率R最小。R(D) 信源编码的目的是编码后对信源进行传输所需要的信息传输率R尽量小。 失真不能无限大，要控制在一定的范围内 给定允许的失真限度为D，则编码后 信息传输率R表示在信道中传输的每个符号的信息量I(X;Y) 信道容量C，为R在某种信源输入概率分布下的最大值，是确定的信道的一个参数 但现在需要选择一种编码器（即选择一种信道），使在确定的压缩失真D允许的范围内，压缩程度最大的信道，即使R最小的编码器。 确定信道的 信道容量C R的最大值 某种编码器 (假想信道)的 R的最小值 选择假想信道（使R变得最小），即选择一种信道参数 使 最小 设满足所有 的转移概率分布pij构成一个信道的集合PD : 此集合称为：D允许实验信道。 这个最小值R(D)称为信息率失真函数，简称率失真函数。 在信源和失真度给定以后，PD 是满足保真度准则 的试验信道集合，平均互信息 I(X;Y) 是信道传递概率p(yj /xi) 的下凸函数，所以在 PD 中一定可以找到某个试验信道，使 I(X;Y) 达到最小，即 在某种变量下的凸函数性 噪声干扰下损失的熵 编码时不考虑噪声的影响，但传送或存储信息时需要去掉冗余，即压缩掉没用的信息量，必然产生失真，使原信源信息受损，可把此种损失等效为，有噪声引起的损失（失真）。 信息率失真函数的物理意义：对于给定的信源，在平均失真不超过失真限度D的条件下，信息率允许压缩的最小值R(D)。 例：信源符号A={a1 a2 …a2n}信源等概分布p(ai)=1/2n , i=1,2,…,2n，给定失真函数