信息率失真函数.ppt

[例5]有一个二元等概平稳无记忆信源，接收符号集为且失真矩阵为：求率失真函数R(D)。解：由由于信源等概分布，失真函数具有对称，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)，该转移概率矩阵可写为：由于，因此对于任何有限平均失真，必须。于是转移概率矩阵变为：1可求出此时的互信息为：32因此对应此转移概率矩阵的平均失真：相应的率失真函数R(D)如图所示。例：有一个n元等概率平稳无记忆信源，接收符号集为，且规定失真矩阵为求率失真函数R(D)。解：由于信源等概率分布，失真函数具有对称性，则存在着与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。该转移概率矩阵为0102034.3.2离散无记忆信源的信息率失真函数的参量表述求信源的R(D)函数，原则上与求信道容量一样，是在有约束条件下求极小值的问题。也就是适当选取试验信道P(v/u)使平均互信息最小化，应用拉格朗日乘子法，原则上可以求出解来。1但是，如果要求得到明显的解析表达式，则比较困难，通常只能用参量形式来表达。即便如此，除简单情况外，实际计算仍然是相当困难的。尤其是约束条件式(7.32)，它是求解R(D)函数最主要的障碍。2因为应用拉格朗日乘子法解得的一个或某几个P(vj/ui)很可能是负的。在这情况下，必须假设某些P(vj/ui)=0，然后重新计算，这就使得计算复杂化了。3目前，可采用收敛的迭代算法在电子计算机上求解R(D)函数。4下面介绍用拉格朗日乘子法求解R(D)函数，并用S作为参量来表述率失真函数R(D)和失真函数D(S)。由式(1)知，当信源的概率分布P(u)固定，平均互信息仅仅是试验信道P(vj/ui)的函数。若先不考虑式(2)的约束，约束条件式(3)包含r个等式，取拉格朗日乘子?i(i＝1．2，…r)分别与之对应；并取拉氏乘子S与式(4)对应。由此构成辅助函数：(2)(3)(4)(1)求极值，就是求辅助函数一阶导数等于零的方程组的解。因为已知平均互信息I(U;V)是信道P的U型凸函数，所以若极值存在，它一定是极小值。即求：该式共有r*s个方程，加上式(3)r个方程和式(4)1个方程，共有(r+1+r*s)个方程。而未知数?i(i=1,2,…,r)、S和P(vj/ui)(i=1,2,…,r，j=1,2,…,s)也正好对应(r+1+r*s)个，所以原则上只需求解式(6)、(3)和(4)的方程组，即可求出I(U;V)在约束条件下的极小值。得：(6)注：这时所得的结果是以S为参量的表达式，而不是显式表达式，因而所得到的R(D)的表达式也是以S为参量的表达式。1参量S对应的限制条件为式(4)，它与允许的失真度D有关，所以以S为参量就相当于以D为参量。2[例6]设离散信源和接收变量：并设失真矩阵为:求该信源的信息率失真函数R(D)。解：根据(4.2.4)式计算可得，由题设，根据参量表达式按如下步骤进行求解。第一步：由式(4.3.14)求第二步：由式(4.3.13)求第四章信息率失真函数目录4.1失真测度4.2信息率失真函数及其性质4.3离散无记忆信源的信息率失真函数4.4连续无记忆信源的信息率失真函数4.5保真度准则下的信源编码定理无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这从理论上给出信息传输率与允许失真的关系，奠定了信息率失真理论基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在此基础上论述保真度准则下的信源编码定理。4