信息率失真函数与限失真信源编码.ppt

7.3:率失真函数－8求解步骤：由Dmin=0，找到满足最小失真的试验信道p(v|u),得到R(0)由汉明失真矩阵和失真度定义，计算最大允许的失真度Dmax由Dmax，找到满足最大失真的试验信道p,并得到R(Dmax)在一般条件下当0DDmax时，计算平均失真度选取一个信道，使＝D，求互信息求互信息的下限值?得到R(D)验证：找到满足R(D)的试验信道，验证其正确性结果分析：R(D)曲线分析§7.3:率失真函数－90.10.20.40.60.81.00.10.20.30.40.5DR(D)(比特/符号）ω＝0.3ω＝0.1ω＝0.2ω＝0.5对于同一个D：信源分布越均匀，R(D)就越大，信源压缩的可能性越小反之，若信源分布越不均匀，即信源剩余度越大，R(D)就越小，压缩的可能性就越大。二进制对称信源的R(D)函数等概信源的信息率失真函数。信源输出符号集，等概分布，输出符号集，失真函数定义为7.3:率失真函数－107.3:率失真函数－11高斯信源的R(D)计算已知条件：高斯信源U，其均值为m，方差为σ2，接收变量V概密函数：失真函数：均方误差失真，即：求解步骤：计算平均失真度当≤D，求互信息求互信息的下限值?得到包含有D和σ2的R(D)表达式讨论D和σ2比值不同时R(D)的取值验证：找到满足R(D)的试验信道，验证其正确性结果分析：R(D)曲线分析§7.3:率失真函数－12当D＝σ2时，R(D)＝0。即：如果允许失真等于信源的方差，则只需用均值m来表示信源输出，而不需要传送信源的任何实际输出。当D＝0时，R(D)?∞。即：在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。当D＝0.25σ2时,R(D)=1（比特/自由度）。即：允许均方误差小于或等于σ2/4时，连续信号的每个样本值最少需要用一个二元符号来传输。0.00.20.40.60.81.0D/σ2R(D)(比特/自由度）1.21.40.20.40.60.81.01.2高斯信源在均方误差准则下的R(D)函数ABC限失真信源编码定理的证明限失真信源编码定理的实用意义限失真信源编码定理7.4:限失真信源编码定理－17.4:限失真信源编码定理－2限失真信源编码定理设R(D)为一离散无记忆平稳信源的信息率失真函数，并且有有限的失真测度。对于任意D≥0，ε＞0，δ＞0以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为:M=exp{n［R(D)+ε］}而编码后码的平均失真度:d(C)≤D+δ如果用二元编码，R(D)取比特为单位，则上式M可写成:M=2{n［R(D)+ε］}对于任何失真度D≥0，只要码长n足够长，总可以找到一种编码C，使编码后每个信源符号的信息传输率:R′==R(D)+ε即:R′≥R(D)而码的平均失真度d(C)≤D。在允许失真D的条件下，信源最小的、可达的信息传输率是信源的R(D)。定理解释：7.4:限失真信源编码定理－37.4:限失真信源编码定理－4限失真信源编码定理的证明问题：设有达到R(D)的试验信道p(v|u),要证明对于任意的R‘R(D)时，存在一种信息传输率为R’的信源编码，其平均失真度≤D+δ思路：产生码书选取编译码方法计算失真度方法：产生码书：在Vn空间随机抽取M=2nR’个随机序列v编码方法：若存在与信源序列u构成失真典型序列对的序列v(ω),则编码u?v(ω),否则编码u?v(1)译码：再现v(ω)失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真度限失真信源编码定理的几点说明只是一个存在性定理，没有构造方法存在问题：符合实际信源的R(D)函数计算相当困难信源统计特性的确切数学描述难得符合主客观实际的失真测度难得R(D)计算本身困难即使求得了R(D)，还需研究最佳编码方法才能达到极限值R(D)。7.4:限失真信源编码定理－5存在性R（D）的实用意义限失真信源编码定理的实用意义01举例：在允许一定失真的情况下，信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。027.4:限失真信源编码定理－6举例：二进制无记忆对称信源编