信息论与编码本科教案第六章.ppt

第六章：限失真信源编码 §6. The Source Coding With Finite Distortion §6.1 信息率失真函数的基本概念与定义 §6.2 信息率失真函数的性质 §6.3 离散信源的率失真函数计算 §6.4 高斯信源的率失真函数  §6.5 限失真信源编码编码定理的应用 第六章：限失真信源编码 §6. 1 信息率失真函数的基本概念与定义 (The Basic Concepts and Definitions of Rate-Distortion Function) 到目前为止，从数学角度看我们所讲的《信息论》的 内容也仅有两个最基本的概念；而由这两概念出发，引出 了一系列的概念和应用的讨论。 下面我们将这些概念、定义相继出现的思路作一介绍： §6. 1 率失真函数的基本概念与定义 ①. 有关对信源的客观描述即H(X) 问题，注意这种描述是与信道、 信宿无关，它仅反映信源本身含有信息的度量和它发送信息的能力。 ② . 指如何描述给定信道的功能特征，这也是在与信源、信宿无 关的条件下，纯客观地评价一个信道固有特性问题。即，C 是反映 当给定信道后与某种信源处于最佳匹配时的最大信息传输量问题。 ③. 指了解信宿与信源之间的某种需求并且体现与信道无关的客 观描述——R(D) 信息率失真函数。 §6. 1 率失真函数的基本概念与定义 由于我们学习的是窄义信息论(Special Information Theorem) 是要求从事物的客观性(objectivity)出发讨论问题，而不涉及它的 主观性(subjectivity) 。但对于信宿而言，它是系统中依赖于主观 性最多的部分。一般来说Shannon’s信息论是不具体讨论信宿问题， 最多采用使它理想化(idealize)的策略来描述系统中一种固有的信 源与信宿间的匹配关系。换句话说，是去掉了信宿中的主观因素， 而后讨论仍属于窄义信息论的问题。 对于R(D) 率失真函数的概念，从数学上讲它是一个与信道容 量相对偶(dual problem)的数学问题。即，一个是求某种条件下互 信息的最大值问题；而另一个是求某种条件下互信息的极小值问 题。所以它们都是互信息的条件极值问题。 但是从物理概念上看，率失真函数它反映的是实际信源与理 想化信宿之间的某种依赖关系。即实际中存在的信息率与失真程 度间的关系，因为在源端所发出的信息率越高，则在收端所收到 §6. 1 率失真函数的基本概念与定义 的信息损失才能越少。比如：语音源是发出速码率为R＝64kbit/s 的语声信号时，对于人耳来说应该几乎没有失真；而当速码率降 低为R＝32kbit/s时，人耳就会对此类语声信息的接受产生失真影 响，如感觉到沙沙声，但有这点失真也无妨，因为它对人类的理 解毫无影响；如果再进一步降低信息率，若R＝16kbit/s 时，则明 显感到失真加大，听起来费劲；如果再低当R＝8kbit/s 时，人类 的听觉器官就可能不适应，甚至时间一长会厌烦此类信号，因为 它不仅带来了语声清晰度的失真，而且也大大影响了可懂度方面 的效果。因此信息率R与失真程度之间的确存在某种依赖关系， 问题时如何用某种数学方法将它描述。 问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一 §6. 1 率失真函数的基本概念与定义 种信息率的性能界限：R(D);使得信宿在RR(D)时，收到信息后 所产生的失真应不会大于所给定的失真要求D。一旦RR(D)以后 实际失真将必定大于失真要求D。 这种信源与信宿的依存关系，就是与信道无关的条件下，所 要讨论的率失真函数的概念。 §6. 1 率失真函数的基本概念与定义 当然，?可以是一个常量，也可以是一变量。如果用某一个 来代替任何一个 ，所造成的失真都是等效的，那么?应是 常量；反之它就是变量，因为它所反映的失真代价和效果各不 相同。下面我们各举一例说明失真函数的表示方法。 §6. 1 率失真函数的基本概念与定义 例6-2. §6. 1 率失真函数的基本概念与定义 注意这仅是给出的失真度定义，为了衡量整个信源与信宿的 总体失真关系，还得有一个总体统计参量：失真函数的统计平均 值——平均失真(average distortion) §6. 1 率失真函数的基本概念与定义 在连