信息论第6章(率失真函数及率失真编码定理).ppt

概 论 失真测度 几个失真测度的例子 平均失真的定义 有关平均互信息量的两条定理 率失真函数的定义 求率失真函数的几种方法 求率失真函数的几个例子 求率失真函数的几个例子 求率失真函数的几个例子 求率失真函数的例子解答 * * 信息论基础 The Basis of Information Theory 主题No6：率失真函数及率失真编码定理 在第二章研究无失真信源编码问题时，我们知道在信源无失真前提下，希望信息传输率 尽可能大，以提高传输效率。但由第八章将要介绍的信道编码定理可知，只有在信息传输率小于信道容量时，才可能实现无差错传递，而对每个信道而言，其信道容量是一个定值，即信息传输率有一个极限值，这就出现了矛盾。从提高传输效率的角度出发，考虑允许传输有一定的失真，这在很多情况下是可以接受的。这种情况下，可以对信源信息量进行压缩，那么可以压缩到什么程度呢？下面要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数RD。 失真测度d(u,v): 记U为信源符号集，V为信宿符号集，设取U,V自同一符号集,经过传输，若信源符号与信宿符号不一致认为失真,为描述这种不一致的程度,引入失真测度。 一般情况下，我们用矩阵表示失真测度。 式中dij≥0为发ui而判为vj引起的失真度。 例1 约定 上述约定可以用矩阵表示为失真测度： 例2 对于U={0,1,2},V={0,1,2}给出失真测度： dij=(ui-vj)2 则失真测度矩阵为： 平均失真定义为： 对于连续情况，失真测度不是用矩阵来描述，而用二元函数来描述，平均失真用积分表示： 例如 ，都为连续情况下的失真测度。 我们知道平均互信息量是经过一次通信后信宿所获得的信息，其计算公式有两种表达式： 即I(X;Y)是q(x)和p(y|x)的函数，下面两条定理阐明了I(X;Y)与q(x)和p(y|x)之间的关系。 [定理1] 当信道p(y|x)给定，I(X;Y)是信源q(x)的∩型凸函数。 [定理2] 当信源q(x)给定，I(X;Y)则是信道p(y|x)的∪型凸函数。 给定了信源(q(u)一定)及失真测度[d(u,v)] (满足 ),根据[定理2],平均互信息量I(U;V)是p(v|u)的∪型凸函数，故可以关于p(v|u)对平均互信息量I(U;V)求得极小值。 率失真函数的定义 上式的意义在于，选择p(v|u)即选择某种编码方式在满足 的前提下，使I(U;V)达到最小值R(D)，这就是满足平均失真 的信息量可压缩的最低程度。 R(D)的定义域：（Dmin,Dmax） 在信源等概率的情况下，若失真测度矩阵[d(u,v)]具有对称性，则在p(v|u)具有相同对称性时，求出的I(U;V)就等于率失真函数R(D). 对于一般情况，问题归结为选择适当的p(v|u)，使I(U;V)=H(V)-H(V|U)取得极小值.需要用拉格朗日乘因子法求解，比较繁琐。 例3 信源U={0,1},信道V={0,e,1}，信源等概率分布，失真测度矩阵为： (1)求R(D)； (2)当 时，证明R(D)=log2-H(D) [解]由定义得：Dmin=0,Dmax=min{ }，由于信源及失真测度矩阵均具有对称性，故取信道转移概率为 ，此时计算I(U;V)=H(U)-H(U|V),即为 我们所要求的R(D) 例4 二进制信道，信源分布 ，失真测度矩阵为 求R(D)。 [解] 例3 设信源X={x1,x2,x3,x4},信宿Y={y1,…,y7}，信源等概率分布，失真测度矩阵为： 证明率失真函数R(D)如下图所示。