率失真函数1010.ppt

信息论与编码技术 展爱云 Zayscj@ecjtu.jx.cn 通信工程教研室 本课程的相关要求 课程基础（概率论） 上课要求 学习要求 实验要求（C\C++) 本课程的重点 信息的基本概念 信息量的计算 典型的几种信源编码方法 典型的几种信道编码方法 第4章 信息率失真函数 第4章 信息率失真函数 4.1 基本概念 1、 信道编码定理： 不论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使得在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。 第4章 信息率失真函数 RC，则传输总要产生失真。 实际生活中能否保证RC呢？ 第4章 信息率失真函数 在许多实际的应用中,人们并不要求完全无失真地恢复消息,而是只要满足一定的条件,近似的恢复信源发出的消息就可以了. 第4章 信息率失真函数 2、引入限失真的必要性 ??? 失真在传输中是不可避免的; 例如：连续消息 第4章 信息率失真函数 2、引入限失真的必要性 ???? 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 例如：打电话，看电影……. 第4章 信息率失真函数 2、引入限失真的必要性 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真 第4章 信息率失真函数 2、引入限失真的必要性 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 第4章 信息率失真函数 2、引入限失真的必要性 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(X). 显然 H(X)≥R(D). 当且仅当 D=0时，等号成立 第4章 信息率失真函数 2、引入限失真的必要性 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系 第4章 信息率失真函数 2、引入限失真的必要性 R(D)函数是限失真信源信息处理的理论基础 第4章 信息率失真函数 第4章 信息率失真函数 第4章 信息率失真函数 第4章 信息率失真函数 第4章 信息率失真函数 (2)失真度的定义 设离散无记忆信源 第4章 信息率失真函数 信道的传递概率矩阵为: 第4章 信息率失真函数 对于每一对 第4章 信息率失真函数 (3)常用的失真函数 第4章 信息率失真函数 第4章 信息率失真函数 (4)平均失真度 如果规定平均失真度不能超过某一限定的值, 即 第4章 信息率失真函数 4、信息率失真函数的定义 设D是所要求的平均失真上限，PD是所有使D(X，Y)≤D的信道的集合，则信息率失真被定义为： R(D)=min I(X;Y) p(yj/xi) ?PD 第4章 信息率失真函数 4、信息率失真函数的定义 三个概念的物理含义：(p139) 平均互信息量 信道容量 率失真函数 第4章 信息率失真函数 5、信息率失真函数的性质(p140) 1）率失真函数的定义域 对离散：[0，dmax] 对应R(D)值：R(0)=maxR(D)=H(X) R(Dmax)= minR(D) 第4章 信息率失真函数 二、离散信源的信息率失真函数 C 约束条件： 信道特性确定 平均互信息量的极大值 R 约束条件：信源和允许失真条件下 平均互信息量的极小值 第4章 信息率失真函数 可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（R(D)的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。 第4章 信息率失真函数 由信道容量C与R(D)数学上对偶关系： 第4章 信息率失真函数 1、二元及等概率离散信源的信息率失真函数 例1：有一个二元等概率平稳无记忆信源X，且失真函数为： ? 试求其R(D)=? 第4章 信息率失真函数 解：由： 第4章 信息率失真函数 例2：若有一个元等概率、平稳无记忆信源，且规定失真函数为： 第4章 信息率失真函数 由 求得 第4章 信